收藏本站
《南京航空航天大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

数据清理关键技术及其软件平台的研究与应用

陈伟  
【摘要】:我国目前正在大力推广信息技术,实施各行各业的信息化工程,如代表制造业信息化潮流的 ERP(Enterprise Resource Planning,企业资源计划)系统,电子政务系统,医疗保险信息系统,以及其它各类形式的信息系统。随着信息化的进展,企业积累了大量的电子数据,这些数据非常珍贵。用户录入错误、企业合并以及企业环境随着时间的推移而改变等因素,都会影响数据的质量。为了更好地发挥信息化的作用,必须提高信息系统的数据质量。显见,研究信息化建设中的数据清理问题具有理论和应用价值。针对这一课题,论文包括如下几个方面的研究工作: 论述了数据清理研究的重要性和紧迫性,分析了数据清理的研究现状,指出了目前数据清理研究中所存在的问题。 从数据质量的三个重要因素出发,研究了单数据源中数据清理的关键技术,包括:相似重复记录清理、不完整数据清理、错误数据清理。 对于相似重复记录的清理,给出了一种综合的清理方法。为了提高该方法的检测精度和检测效率,从两个方面对该方法的关键环节进行了改进:第一个改进是在相似重复记录检测中,根据具体的业务系统,采用等级法为记录各字段指定合适的权重,从而提高了相似重复记录的检测精度;第二个改进是提出了一种提高相似重复记录检测效率的方法,该方法采用长度过滤方法优化相似检测算法,避免了不必要的编辑距离计算,从而提高了相似重复记录的检测效率。此外,构造了合适的实验环境,做了大量的检测实验,翔实的实验结果验证了长度过滤方法的科学性及有效性。 对于不完整数据的清理,提出了一种清理方案,该方案首先分析数据的可用性;然后删除不可用记录;最后,对可用记录通过选用合适的方法来处理该记录的丢失值,从而完成数据源中不完整数据的清理。 针对数据源中出现的错误数据,研究了如何采用孤立点检测和业务规则这两种方法来检测这些错误数据,多种检测方法大大提高了错误数据清理的综合效果。 在研究了单数据源数据清理的基础上,又研究了多数据源集成中的数据清理问题,主要内容有:研究了多数据源集成中数据标准化的方法;结合相似重复记录清理的研究,给出了一种相似重复实体检测方法,有效地解决了多数据源集成中相似重复实体的清理问题;提出了一种交互式数据迁移方法,该方法把数据迁移和数据清理紧密地结合在一起,不仅可灵活、准确地完成多数据源集成中的数据迁移,还可保证数据迁移后新系统的数据质量。 在结构化数据清理研究的基础上,针对半结构化数据 XML 在数据清理中的重要性,提出了一种有效的 XML 相似重复数据清理方法,并给出了一种优化的基于树编辑
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 鞠同心;孙琦;;轻舟巧过万重山[J];华北电业;2010年01期
2 庄晓青,徐立臻,董逸生;数据清理及其在数据仓库中的应用[J];计算机应用研究;2003年06期
3 费晓燕,张海燕;一种用EM算法进行数据清理的方法[J];空军雷达学院学报;2003年02期
4 王小戈;;如何做好无线电台(站)数据清理登记工作[J];中国无线电;2007年10期
5 刘岩;;全国无线电台站数据清理登记工作总结(摘编)[J];中国无线电;2009年11期
6 孙进;;浅析人力资源数据挖掘中的数据清理[J];福建电脑;2010年12期
7 黄湘林;实现异构数据库间数据共享方法[J];株洲工学院学报;2002年S1期
8 陈伟,丁秋林;具有数据清理功能的交互式数据迁移及应用[J];吉林大学学报(信息科学版);2004年02期
9 代昆玉;胡滨;;基于数据仓库的数据清理技术概述[J];贵州大学学报(自然科学版);2007年03期
10 赵群;;消除重复值数据清理方法的研究[J];福建电脑;2006年04期
11 ;21省(区、市)无线电台站数据清理登记工作启动[J];中国无线电;2007年05期
12 肖智,李勇,李昌隆;一种基于相关分析的数据预处理方法[J];重庆大学学报(自然科学版);2002年06期
13 杜永明;数据仓库中数据质量若干问题的研究[J];福建电脑;2003年01期
14 何玉洁;;构建审计分析数据仓库中的数据清理及转换技术[J];计算机教育;2009年08期
15 邵明豪;;数据预处理技术的具体实现形式研究[J];网络安全技术与应用;2009年06期
16 夏骄雄;徐俊;吴耿锋;;数据清理中同体不同源数据的数化算法研究[J];计算机工程;2007年01期
17 ;郑州市人民政府办公厅关于开展无线电频率台(站)数据清理登记的通知[J];郑州市人民政府公报;2007年08期
18 张洁;王亚芳;王妍;Xiaogang Peng;Zhen Ji;Zongwei Luo;Edward C.Wong;C.J.Tan;;基于p2p技术的RFID网络数据清理模型[J];硅谷;2009年09期
19 张丽;夏宗泽;刘颖;张乐;;以财务为核心的ERP建设数据清理工作实施探讨[J];电力信息化;2009年08期
20 佘春红;数据仓库及其相关技术综述[J];长江大学学报(自然科学版);2004年01期
中国重要会议论文全文数据库 前10条
1 刘奕群;张敏;马少平;;面向信息检索需要的网络数据清理研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 陈堃;李心科;;基于可扩展数据清理框架的元数据的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 向坚;俞坚;叶绿;;一种高效的大规模RFID数据集合清理方法[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
4 向坚;俞坚;叶绿;;一种基于RFID的新传感器数据流在线清理框架[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
5 王桂芹;黄道;;数据预处理技术研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
6 叶绿;;基于J2EE的公交停车场管理实现与研究[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年
7 叶绿;;RFID通用软件构架研究[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年
8 郭友钊;;论全国区域岩石物性调查[A];中国地球物理学会第二十届年会论文集[C];2004年
9 杨雪梅;林端宜;沈国俊;赖新梅;周常恩;;中药功效术语体系库的建立[A];2009年全国中药学术研讨会论文集[C];2009年
10 游滨;;高等教育出版社信息化成功的关键因素[A];中国编辑研究(2007)[C];2007年
中国重要报纸全文数据库 前10条
1 陈家运;认真开展台站数据清理登记[N];江苏法制报;2007年
2 杨景;进一步做细做实统计数据清理核查工作[N];天水日报;2007年
3 程颖;切实维护空中电波秩序[N];平顶山日报;2007年
4 记者 曹云;我市召开无线电台(站)数据清理登记工作会[N];长治日报;2007年
5 鞠同心;轻舟巧过万重山[N];国家电网报;2009年
6 张虹;我国无线电台站数据清理登记全面启动[N];人民邮电;2007年
7 见习记者 禹超 实习生 杨柳;为奥运会做好通信保障[N];秦皇岛日报;2006年
8 吴德胜 李宏一;数据上收 湖北分行力争安全高效 广西分行启动差异分析[N];中国城乡金融报;2006年
9 李硕;我市开展无线电频率台站数据清理登记工作[N];周口日报;2007年
10 彭文怡记者 傅小冰;数据清理三步走 特种设备监管好[N];中国质量报;2008年
中国博士学位论文全文数据库 前10条
1 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年
2 陈伟;数据清理关键技术及其软件平台的研究与应用[D];南京航空航天大学;2005年
3 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
4 黄莉;基于语义关联的重复数据清理技术研究[D];华中科技大学;2011年
5 白爱民;基于客户集群和拓扑理论的CRM模型与算法研究[D];天津大学;2006年
6 满江虹;基于粗糙集的分类知识发现方法及其应用研究[D];东南大学;2005年
7 陈雯;基于本体框架的交通出行语义轨迹建模、标记及数据库研究[D];华东师范大学;2011年
8 马骋宇;新型农村合作医疗信息系统辅助决策方法及应用研究[D];山东大学;2010年
9 楼巍;面向大数据的高维数据挖掘技术研究[D];上海大学;2013年
10 彭伟民;特征数据的量子表示与融合方法[D];华南理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 钟莉云;利用数据沿袭改进数据清理质量的机制的研究[D];西南师范大学;2004年
2 曾理;Hadoop的重复数据清理模型研究与实现[D];南华大学;2010年
3 叶振春;实兵对抗演习评估系统中数据清理方法研究[D];解放军信息工程大学;2011年
4 伍丁辉;教务管理信息系统伪缺失值检测研究[D];南华大学;2010年
5 李俊娴;基于预处理技术的数据清理系统研究与实现[D];南京航空航天大学;2007年
6 王耀平;基于Web Services的西安杨森渠道管理系统开发[D];复旦大学;2008年
7 朱桂松;基于RFID中间件的铁路集装箱堆场管理系统[D];北京交通大学;2009年
8 田悦;基于Hibernate的数据清理系统的设计与实现[D];北京邮电大学;2009年
9 孟卓瑜;XML数据仓库的数据预处理研究与应用[D];解放军信息工程大学;2007年
10 鲁均云;重复和不完整数据的清理方法研究及应用[D];江苏大学;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978