收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

缺失数据的处理方法研究及应用

杨利华  
【摘要】:在目前的各个领域的研究调查中,由于受到各种已知或者未知因素的影响,经常会导致缺失数据出现的情况。此刻,由于缺失数据的存在,不但会增加研究者分析数据的难度,而且会造成分析结果的偏差,从而降低研究者统计计算工作的效率。因此考虑如何消除或者尽可能减少这些缺失数据的影响就变得越来越重要了。为了有效地解决缺失数据带来的问题,本文首先对缺失数据进行填补,形成一个完整的数据集,然后再对填补后的完整数据集进行相应的统计分析。 本文对缺失数据处理方法进行研究,分为个案剔除法、加权调整方法、基于插补的方法和基于模型方法,分别详细地介绍了最近邻法、期望值最大法(EM)、BP神经网络方法的相关理论基础及各自的特点。同时将支持向量机的方法和控制点最优磨光算法应用于处理缺失数据。最后根据SVM在函数拟合方面的特点,建立了一个函数模型。通过确定主要影响因子和选定数据集后,对该模型进行了训练,最后成功地应用于缺失数据补齐,并将控制点优化磨光算法应用缺失数据的处理。经过数据实验证实,基于SVM的缺失数据补齐方法和控制点优化磨光算法具有明显实用性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周伟萍;张德然;杨兴琼;;具有部分缺失数据时两个几何总体的估计[J];长春大学学报;2008年02期
2 廖慧敏;林燧恒;;数据缺失机制对逐步回归变量筛选的影响[J];中国卫生统计;2011年04期
3 李开灿;有缺失数据的2×2×2列联表的参数估计[J];数理统计与管理;2003年02期
4 孙凤;;微观计量分析中缺失数据的极大似然估计[J];数量经济技术经济研究;2005年11期
5 李佳宁;;有缺失数据的双向有序方列联表统计推断[J];大连交通大学学报;2007年02期
6 庞新生;;分层随机抽样条件下缺失数据的多重插补方法[J];统计与信息论坛;2009年05期
7 赵慧秀;马文卿;;带有缺失数据的估计方程[J];曲阜师范大学学报(自然科学版);2009年03期
8 裴晓换;任娜;付小君;;具有缺失数据的2个几布总体的估计和检验[J];纺织高校基础科学学报;2010年03期
9 廖娟芬;黄绍军;李春红;;具有部分缺失数据的异均值方差分析法[J];海南师范大学学报(自然科学版);2011年01期
10 李乃医;李永明;;缺失数据下带有讨厌参数的经验似然比置信区域[J];统计与决策;2011年08期
11 金勇进;缺失数据的插补调整[J];数理统计与管理;2001年06期
12 朱五英;;具有部分缺失数据两个几何分布总体的估计[J];安徽师范大学学报(自然科学版);2008年01期
13 张香云;;Gibbs抽样在不同缺失率下的参数估计[J];统计与决策;2008年04期
14 张香云;张秀伟;;不同缺失率下EM算法的参数估计[J];数理统计与管理;2008年03期
15 赵志文;刘银萍;;具有部分缺失数据的两个幂分布总体参数的估计与检验[J];吉林师范大学学报(自然科学版);2008年03期
16 邹凤;韦程东;;缺失数据下非参数模型均值估计的两个结果[J];广西师范学院学报(自然科学版);2009年02期
17 陈菲;刘玉春;;具有部分缺失数据时两个Weibull总体的估计和检验[J];吉林师范大学学报(自然科学版);2010年01期
18 赵志文;付志慧;;具有部分缺失数据的两个瑞利分布总体参数的估计与检验[J];北华大学学报(自然科学版);2008年03期
19 赵志文;王思洋;王瑞庭;李玲;;定时截尾下具有部分缺失数据两个指数总体参数的估计与检验[J];吉林大学学报(理学版);2009年01期
20 赵志文;宋立新;刘银萍;;具有部分缺失数据的两个几何分布总体参数的估计与检验[J];统计与决策;2010年05期
中国重要会议论文全文数据库 前10条
1 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
2 耿直;葛丹丹;;纵向研究非随机缺失数据分析[A];中国现场统计研究会第12届学术年会论文集[C];2005年
3 张香云;;基于EM算法缺失数据下混合模型的参数估计[A];第十三届中国管理科学学术年会论文集[C];2011年
4 曾莉;张淑梅;辛涛;;IRT模型中缺失数据处理方法比较[A];第十一届全国心理学学术会议论文摘要集[C];2007年
5 雷蕾;吴乃君;刘鹏;刘兰娟;;灵敏度分析:分类器中的缺失数据[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
6 廖学清;吕强;;试析数据缺失下学习贝叶斯网中初始网络的选择[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
7 孙玲;刘浩;袁长亮;;北京市城市快速路微波检测缺失数据分析[A];2008第四届中国智能交通年会论文集[C];2008年
8 孙玺菁;司守奎;刘超;;支持向量机在缺失数据样本分类上的应用[A];第25届中国控制会议论文集(中册)[C];2006年
9 肖进;贺昌政;;面向缺失数据的客户价值区分集成模型研究[A];中国企业运筹学[2010(1)][C];2010年
10 管河山;姜青山;谭忠;;一种处理缺失数据的回归模型[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 祝丽萍;几种缺失数据和高维数据模型的统计分析[D];山东大学;2012年
2 王睿;胃食管反流病流行病学调查及其缺失数据的处理方法研究[D];第二军医大学;2009年
3 赵慧秀;可交换的两值数据的统计分析[D];东北师范大学;2009年
4 郑术蓉;线性不等式约束下的EM算法[D];吉林大学;2004年
5 阎小妍;基于胃肠疾病流行病学调查数据的结构方程建模研究[D];第二军医大学;2009年
6 程皖民;基于小子样复杂信息集的可靠性评估方法及其应用研究[D];国防科学技术大学;2006年
7 Abdalroof M.Shaip;基于删失数据的统计推断[D];吉林大学;2013年
8 王秀丽;半参EV模型和缺失数据下估计方程的经验似然推断[D];山东大学;2011年
9 杨磊;贝叶斯非参数统计中的先验的估计[D];华东师范大学;2014年
10 刘旭;在完全和缺失数据下基于非光滑估计方程的统计推断与变量选择问题[D];云南大学;2010年
中国硕士学位论文全文数据库 前10条
1 田霆;定时截尾缺失数据下指数分布的统计推断[D];华中科技大学;2004年
2 贾博婷;具有缺失数据的整值自回归模型的统计推断[D];吉林大学;2011年
3 赵丽;缺失数据模型的逆概率加权的双重稳健估计[D];山东大学;2010年
4 齐化富;缺失数据下两类回归模型的经验似然推断[D];广西师范大学;2006年
5 李长军;基于贝叶斯网络的中医医案数据挖掘[D];厦门大学;2008年
6 李佳宁;有缺失数据的双向有序方列联表的统计推断[D];东北师范大学;2005年
7 石红亮;含缺失数据线性模型中的变量选取[D];东北师范大学;2008年
8 刘锴明;代价敏感的缺失值填充若干问题研究[D];广西师范大学;2010年
9 谢易林;随机缺失下自适应变系数模型的相关估计与性质[D];湖南师范大学;2010年
10 董冬;缺失数据下线性模型回归系数岭估计的大样本性质[D];广西师范大学;2010年
中国重要报纸全文数据库 前10条
1 刘若帆宋林;诗邦金A6+1:凭借其质提高其量[N];农资导报;2008年
2 姜明;天津:万名职工评工会[N];工人日报;2005年
3 记者 刘苏华特约记者 宋林;金沂蒙生态肥业召开2008经销商年会[N];农资导报;2008年
4 崔昕;带着经验前行[N];中国医药报;2005年
5 刘苏华宋林;树品牌 拓市场 求实效[N];中华合作时报;2008年
6 合水县人行 王风霞;基层金融统计数据集中工作中存在的问题及建议[N];陇东报;2007年
7 王振权;抽样调查数据的质量控制[N];中国信息报;2009年
8 记者 靳晓磊;2月份扬尘污染综合整治考核公示[N];石家庄日报;2009年
9 北京大学教育学院 马莉萍 丁小浩;就业因素中的社会关系[N];中国教育报;2010年
10 陈曦 堂庆;日均审核退税超千万[N];扬州日报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978