收藏本站
《内蒙古大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

数据清洗技术研究及清洗框架的设计与实现

王江  
【摘要】:在当今信息化时代的背景下,数据对于各行业发展的重要性不言而喻。由于数据来源的广泛性和数据模型定义的无关性,在整合数据源数据,尤其是整合多数据源数据时,常常会暴露出严重的数据质量问题。这些数据质量问题常常会导致错误决策的制定,使信息驱动型应用失去潜在的效益。所以数据质量越来越受到人们的关注,作为提高数据质量有效手段的数据清洗技术得到了广泛的研究和发展。论文所做的主要工作包括以下三部分:第一部分,阐述了当前数据清洗在国内外的研究状况,论述了数据质量的概念,对数据质量问题的分类进行了讨论,并分析了多种造成数据质量问题的原因。同时阐述了数据清洗的概念、原理及一般过程。第二部分,着重研究了几种重复数据清洗算法,提出了一种适合本设计的数据清算法。根据已有项目的需求,结合已有数据特点,制定了清洗流程。第三部分,设计并实现了一个数据清洗框架模型,并利用测试数据对所设计的框架进行了性能测试。数据清洗框架的设计与实现是论文工作的重点。此框架包含多个清洗流程,在数据入库之前就对数据的基本格式与取值进行校验,达到初步控制数据质量的目的。利用多级数据库存取模式实现“脏数据”与决策资源池间的有效隔离,保证进入资源池的数据都是经过清洗的数据。系统使用Java面向对象设计语言与ORACLE数据库进行设计开发,很大程度上提高了系统跨平台运行的能力。框架采用模块化设计的方式,方便以后的拓展和维护。文章最后对所做工作进行了总结并对后续的发展进行了展望。
【学位授予单位】:内蒙古大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 张武;刘波;;一种基于规则的交互式数据清洗框架的设计[J];微计算机应用;2009年10期
2 曹建军;刁兴春;陈爽;邵衍振;;数据清洗及其一般性系统框架[J];计算机科学;2012年S3期
3 田伟;殷淑娥;;浅析数据清洗[J];计算机光盘软件与应用;2013年11期
4 郭志懋,周傲英;数据质量和数据清洗研究综述[J];软件学报;2002年11期
5 邓中国,周奕辛;数据清洗技术研究[J];山东科技大学学报(自然科学版);2004年02期
6 唐懿芳,钟达夫,张师超;数据清洗前的预处理方法[J];广西科学;2005年02期
7 孟坚,董逸生,王永利;一种基于规则的交互式数据清洗技术[J];微机发展;2005年04期
8 包从剑;李星毅;施化吉;;可扩展和可交互的数据清洗系统[J];计算机技术与发展;2007年07期
9 王曰芬;章成志;张蓓蓓;吴婷婷;;数据清洗研究综述[J];现代图书情报技术;2007年12期
10 王咏梅;嵇晓;汪恒杰;冯安平;;面向多数据源的数据清洗关键技术的研究[J];科技资讯;2009年01期
中国重要会议论文全文数据库 前10条
1 俞荣华;郭志懋;田增平;周傲英;;一个可扩展的数据清洗系统[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
2 崔运钏;刘连忠;;一种可扩展的数据清洗系统的设计与实现[A];2006中国控制与决策学术年会论文集[C];2006年
3 汪爱民;;宝钢全流程合同数据清洗与组织方案的设计和应用[A];全国冶金自动化信息网2014年会论文集[C];2014年
4 蒋勇青;杨奕虹;杨贺;;论数据清洗对信息检索质量的影响及清洗方法[A];2011年中国索引学会年会暨成立二十周年庆典论文集[C];2011年
5 李智;宋杰;冷芳玲;王大玲;鲍玉斌;于戈;;一种基于构件扩展的数据清洗框架[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
6 高淑娟;鲍玉斌;江志纲;王大玲;于戈;;一种基于最小风险贝叶斯决策的数据清洗策略[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
7 王妍;石鑫;宋宝燕;;基于伪事件的RFID数据清洗方法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
8 李晓静;谷峪;吕雁飞;王艳秋;于戈;;基于动态事件概率模型的高效RFID数据清洗算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
9 肖英治;陈红;;带数据清洗功能的数据预处理系统PW-ETL的设计与实现[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
10 赵之慧;;专利数据加工[A];2014年中华全国专利代理人协会年会第五届知识产权论坛论文(第二部分)[C];2014年
中国重要报纸全文数据库 前1条
1 中国人民财产保险股份有限公司信息技术部副总经理 鹿慧 编译;在SOA中创建独立的数据清洗服务[N];计算机世界;2009年
中国博士学位论文全文数据库 前1条
1 樊华;面向物联网的RFID不确定数据清洗与存储技术研究[D];国防科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 高宝;不确定性RFID数据清洗算法研究[D];南京信息工程大学;2015年
2 叶晨;基于众包的数据清洗关键技术的研究[D];哈尔滨工业大学;2015年
3 张晓东;基于业务模型的数据清洗与整合平台的设计与实现[D];电子科技大学;2015年
4 艾超;针对在线产品支撑数据的过滤和分析系统的研究与设计[D];电子科技大学;2015年
5 金翰伟;基于Spark的大数据清洗框架设计与实现[D];浙江大学;2016年
6 王江;数据清洗技术研究及清洗框架的设计与实现[D];内蒙古大学;2016年
7 张联超;基于本体的数据清洗系统框架研究[D];南京航空航天大学;2008年
8 朱前磊;电子政务系统中海量数据清洗方法研究与应用[D];东华大学;2010年
9 吴俊;基于神经网络的电力负荷数据清洗模型研究[D];大连理工大学;2010年
10 梁文斌;数据清洗技术的研究及其应用[D];苏州大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026