收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

缺失数据填补方法研究

金成美  
【摘要】:不完备数据是在当今许多进行的实验研究领域和调查研究领域中普遍存在着的问题。不完备数据会增加分析任务的难度,造成结果偏倚,在一定程度上降低了统计工作的效率。特别是在完全观测与不完全观测存在着系统差异的情况下,运用常规的统计学方法对不完备数据集做出的分析结论会存在严重的局限性,是不能替代完全观测的。而数据清理技术的新发展,使得运用更为先进的方法成为可能。数据挖掘,也称之为数据库中知识发现,是一个可以从海量数据中智能地和自动地抽取一些有用的、可信的、有效的和可以理解的模式的过程。缺失数据填补是数据挖掘的重要研究内容之一。本文就是针对不完备数据的填补处理这一内容展开的,主要工作如下: 1.介绍课题研究背景、国内外研究现状以及缺失数据分类机制;系统阐述了缺失数据填补算法的工作原理和实现方式; 2.通过估计参数的相对误差大小比较了四种目前比较有前景的缺失数据处理方法的效果; 3.本文的研究重点是新型关系矩阵模型,新型关系矩阵完整地记录了各对象之间条件属性以及决策属性的异同情况,以此挖掘对象间的潜在联系,并进行空缺值的填补处理。填补的结果不会破坏系统的协调性; 4.针对本文算法进行了两组相关实验。实验一分别采用均值法、条件均值法以及本文算法处理UCI中的三个数据集,对比恢复率;实验二主要考察本文算法在不同缺失率下的填补准确性,研究包括七种缺失程度的数据。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 方匡南;谢邦昌;;基于聚类关联规则的缺失数据处理研究[J];统计研究;2011年02期
2 林鸿;;改进的EM算法——A-ECM算法[J];福建电脑;2009年10期
3 李亚飞;吕强;单冬冬;王磊;;一种数据缺失下贝叶斯网络增量学习的有效方法[J];计算机应用与软件;2010年02期
4 雷蕾,吴乃君,刘鹏,刘兰娟;灵敏度分析:分类器中的缺失数据[J];管理学报;2005年S2期
5 冯志兰,刘桂芬,刘力生,郝建生;缺失数据的多重估算[J];中国卫生统计;2005年05期
6 李订芳,章文,牛艳庆;基于粗糙集的缺失数据循环搜索重建算法[J];武汉大学学报(信息科学版);2005年11期
7 欧春泉;陈平雁;黄浙明;何礼明;;缺失值估计的专用软件SOLAS简介[J];数理医药学杂志;2006年03期
8 赵磊;李国和;马现峰;;基于支持向量机的缺失数据补齐方法[J];计算机工程与应用;2006年36期
9 蒋望东;陆小艺;林士敏;;处理缺失数据的朴素贝叶斯分类增量算法[J];科学技术与工程;2008年14期
10 张春生;赵凌琪;庄丽艳;;部分缺失数据的三次参数样条函数修补方法[J];微电子学与计算机;2010年05期
11 王洪春;;缺失数据的主曲线恢复方法[J];微电子学与计算机;2008年11期
12 彭红毅;朱思铭;蒋春福;;数据挖掘中基于ICA的缺失数据值的估计[J];计算机科学;2005年12期
13 刘星毅;;GBNN-填充缺失属性值算法[J];微计算机信息;2007年15期
14 胡春玲;胡学钢;;一种具有缺失数据的贝叶斯网络结构学习方法[J];合肥工业大学学报(自然科学版);2007年04期
15 陈姿羽;李伟鹏;;关于缺失临床数据的一种数据修复技术研究[J];中国医学物理学杂志;2009年02期
16 张亚萍;陈得宝;侯俊钦;杨一军;;朴素贝叶斯分类算法的改进及应用[J];计算机工程与应用;2011年15期
17 张宏亭;李学仁;孔韬;;BP神经网络在缺失数据估计中的应用[J];计算机工程与设计;2007年14期
18 苏毅娟;;数据挖掘中基于核的多重填补的一种新算法[J];计算机工程与应用;2008年31期
19 裴银肖;张元;廉飞宇;吕运朋;;基于贝叶斯网络的车辆身份识别系统的研究[J];微计算机信息;2010年19期
20 张亚萍;陈得宝;侯俊钦;;基于EM的朴素贝叶斯分类算法[J];宿州学院学报;2010年11期
中国重要会议论文全文数据库 前10条
1 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
2 耿直;葛丹丹;;纵向研究非随机缺失数据分析[A];中国现场统计研究会第12届学术年会论文集[C];2005年
3 武森;张桂琼;王莹;吴玲玉;;容差集合差异度高维不完备数据聚类[A];第十二届中国管理科学学术年会论文集[C];2010年
4 张香云;;基于EM算法缺失数据下混合模型的参数估计[A];第十三届中国管理科学学术年会论文集[C];2011年
5 彭秀兰;熊亿民;张臻;吕茵;黄锦成;刘胜荣;;基于数据挖掘的话务统计数据填补算法[A];广东通信2010青年论坛优秀论文集[C];2010年
6 曾莉;张淑梅;辛涛;;IRT模型中缺失数据处理方法比较[A];第十一届全国心理学学术会议论文摘要集[C];2007年
7 雷蕾;吴乃君;刘鹏;刘兰娟;;灵敏度分析:分类器中的缺失数据[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
8 廖学清;吕强;;试析数据缺失下学习贝叶斯网中初始网络的选择[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
9 孙玲;刘浩;袁长亮;;北京市城市快速路微波检测缺失数据分析[A];2008第四届中国智能交通年会论文集[C];2008年
10 孙玺菁;司守奎;刘超;;支持向量机在缺失数据样本分类上的应用[A];第25届中国控制会议论文集(中册)[C];2006年
中国博士学位论文全文数据库 前10条
1 李丹;属性加权及不完备数据的模糊聚类方法研究[D];大连理工大学;2011年
2 王睿;胃食管反流病流行病学调查及其缺失数据的处理方法研究[D];第二军医大学;2009年
3 许琼;X线CT不完备投影数据统计重建研究[D];西安交通大学;2012年
4 赵慧秀;可交换的两值数据的统计分析[D];东北师范大学;2009年
5 郑术蓉;线性不等式约束下的EM算法[D];吉林大学;2004年
6 阎小妍;基于胃肠疾病流行病学调查数据的结构方程建模研究[D];第二军医大学;2009年
7 程皖民;基于小子样复杂信息集的可靠性评估方法及其应用研究[D];国防科学技术大学;2006年
8 贾海洋;贝叶斯网学习若干问题研究[D];吉林大学;2008年
9 王秀丽;半参EV模型和缺失数据下估计方程的经验似然推断[D];山东大学;2011年
10 刘旭;在完全和缺失数据下基于非光滑估计方程的统计推断与变量选择问题[D];云南大学;2010年
中国硕士学位论文全文数据库 前10条
1 金成美;缺失数据填补方法研究[D];辽宁工业大学;2011年
2 田霆;定时截尾缺失数据下指数分布的统计推断[D];华中科技大学;2004年
3 贾博婷;具有缺失数据的整值自回归模型的统计推断[D];吉林大学;2011年
4 袁中萸;多元线性回归模型中缺失数据填补方法的效果比较[D];中南大学;2008年
5 赵丽;缺失数据模型的逆概率加权的双重稳健估计[D];山东大学;2010年
6 齐化富;缺失数据下两类回归模型的经验似然推断[D];广西师范大学;2006年
7 李长军;基于贝叶斯网络的中医医案数据挖掘[D];厦门大学;2008年
8 李佳宁;有缺失数据的双向有序方列联表的统计推断[D];东北师范大学;2005年
9 石红亮;含缺失数据线性模型中的变量选取[D];东北师范大学;2008年
10 刘锴明;代价敏感的缺失值填充若干问题研究[D];广西师范大学;2010年
中国重要报纸全文数据库 前10条
1 刘若帆宋林;诗邦金A6+1:凭借其质提高其量[N];农资导报;2008年
2 记者 牛艳芹 实习记者 周颖;嫦娥一号激光高度计科学数据填补世界空白[N];科学导报;2010年
3 姜明;天津:万名职工评工会[N];工人日报;2005年
4 记者 刘苏华特约记者 宋林;金沂蒙生态肥业召开2008经销商年会[N];农资导报;2008年
5 崔昕;带着经验前行[N];中国医药报;2005年
6 刘苏华宋林;树品牌 拓市场 求实效[N];中华合作时报;2008年
7 合水县人行 王风霞;基层金融统计数据集中工作中存在的问题及建议[N];陇东报;2007年
8 郭斌 陈胜;把握经济普查机遇 落实经济动员潜力调查[N];中国国防报;2004年
9 记者 靳晓磊;2月份扬尘污染综合整治考核公示[N];石家庄日报;2009年
10 王振权;抽样调查数据的质量控制[N];中国信息报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978