收藏本站
《东北大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

缺失数据处理方法的研究及其在软测量技术中的应用

侯贺  
【摘要】:在各个领域的调查研究中,由于各种因素的影响,经常会导致缺失数据的存在。它不仅影响研究人员后续工作的有效展开,也会干扰估计精度。有关缺失数据的处理方法一直是应用统计界的一个研究热点。如何进行科学处理,以便充分利用已有资料,减少缺失数据带来的负面影响,已经成为信息社会各个科学实验领域研究的一个难点和热点话题。本文以工业过程中的缺失数据问题为背景,采用填补的方法对缺失数据问题进行处理,形成完整的数据集,然后再进行后续工作。主要研究内容为以下几个方面: (1)在深入了解工业过程数据特点的基础上,总结了工业过程中缺失数据产生的原因并对缺失数据进行分类。 (2)针对缺失数据的各种类型,提出或总结了有效的缺失数据填补方法,包括单值填补和多重填补两大类。并给出了填补的原理和应用实例。实例表明在不同缺失类型下选择适当的填补方法可以得到较理想的结果。 (3)以青霉素生物发酵软测量建模过程为背景,首先人为地任意构造具有一定缺失率的训练数据集,然后选择合适的填补方法对缺失数据集进行填补。最后针发酵过程中难以在线测量的菌体浓度、基质浓度、产物浓度,利用原始训练数据集、删除法所得到的数据集以及填补后的完整数据集建立预测模型,验证数据填补方法在软测量建模中的有效性。 仿真结果表明,当建模数据集存在缺失数据时,对缺失数据进行填补可以大大提高软测量模型的预测精度。
【学位授予单位】:东北大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP274

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
2 谭超;基于支持向量机的软测量技术及其应用[J];传感器技术;2005年08期
3 常玉清,王福利,王小刚,吕哲;基于支持向量机的生物发酵过程软测量建模[J];东北大学学报;2005年11期
4 赵怀林;微机测量与数据误差处理方法[J];电测与仪表;2002年05期
5 杨军;赵宇;;使用回答概率的回归插补[J];工程数学学报;2008年04期
6 杨宜东,孙志挥,张净;基于核密度估计的分布数据流离群点检测[J];计算机研究与发展;2005年09期
7 萧嵘;王继成;张福炎;;支持向量机理论综述[J];计算机科学;2000年03期
8 刘鹏;雷蕾;张雪凤;;缺失数据处理方法的比较研究[J];计算机科学;2004年10期
9 曹阳,谢万军,张罗漫;多重填补的方法及其统计推断原理[J];中国医院统计;2003年02期
10 阮玉斌;王武;杨富文;;具有测量数据丢失的网络化系统的故障检测滤波[J];控制理论与应用;2009年03期
中国硕士学位论文全文数据库 前1条
1 袁中萸;多元线性回归模型中缺失数据填补方法的效果比较[D];中南大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 张彬彬;曹万林;王海城;张建伟;;延拓小波变换识别的桥梁模态参数研究[J];四川建筑科学研究;2012年03期
2 亓雪龙;孙洪雁;陈进展;;基于灰色系统理论的山东省水果产量预测模型[J];山东农业科学;2010年03期
3 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
4 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
5 吴艳蕾;;基于灰理论的居民生活电力消费预测研究[J];安徽工程科技学院学报(自然科学版);2008年01期
6 程晋石;裴九芳;;3PL企业物流能力灰色评价研究[J];安徽工程大学学报;2011年01期
7 廉同辉;;基于灰色层次决策理论的合芜蚌试验区产业效应分析[J];安徽工程大学学报;2011年03期
8 朱春江;唐德善;马文斌;;基于灰色理论和BP神经网络预测观光农业旅游人数的研究[J];安徽农业科学;2006年04期
9 朱春江;唐德善;;基于灰色神经网络和证据理论预测地下水位的研究[J];安徽农业科学;2006年05期
10 朱春江;唐德善;;基于线性规划模型的农业种植业结构优化研究[J];安徽农业科学;2006年12期
中国重要会议论文全文数据库 前10条
1 黄孝鹏;龚亲华;李振宇;许甜甜;;中国古代决策思想与现代决策科学的融合与发展[A];安徽省管子研究会2011年年会暨全国第六届管子学术研讨会交流论文集[C];2011年
2 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
3 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
4 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
5 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
6 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
7 顾小军;杨世锡;钱苏翔;;基于支持向量机的旋转机械多类故障识别研究[A];第二十六届中国控制会议论文集[C];2007年
8 吕蓬;柳亦兵;马强;魏于凡;;支持向量机在齿轮智能故障诊断中的应用研究[A];第二十六届中国控制会议论文集[C];2007年
9 姜明辉;袁绪川;;基于GA优化的个人信用评估SVM模型[A];第二十六届中国控制会议论文集[C];2007年
10 魏长顺;沈银花;魏利胜;;基于优化GM(1,1)模型的人口预测方法研究[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
3 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
4 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
5 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
6 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
7 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
8 王晓明;基于统计学习的模式识别几个问题及其应用研究[D];江南大学;2010年
9 李先锋;基于特征优化和多特征融合的杂草识别方法研究[D];江苏大学;2010年
10 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
3 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
4 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
5 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
6 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
7 安文娟;Fisher和支持向量综合分类器[D];辽宁师范大学;2010年
8 姜成玉;基于支持向量机的时间序列预测[D];辽宁师范大学;2010年
9 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
10 王顺岩;灰色系统理论在间歇式染色中的应用研究[D];浙江理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 周鸣争;基于遗传算法的曲线拟合及应用[J];安徽机电学院学报;2000年03期
2 常玉清,王小刚,王福利;PCA-DRBFN模型在精馏塔精苯干点估计中的应用[J];东北大学学报;2004年02期
3 赵怀林;微机在数据采集和误差处理中的应用[J];电测与仪表;1995年06期
4 武建虎,贺佳,贺宪民,程红岩;多变量缺失数据的不同处理方法及分析结果比较[J];第二军医大学学报;2004年09期
5 童勤业,严筱刚,孔军,薛宗琪;“混沌”理论在测量中的应用[J];电子科学学刊;1999年01期
6 张星;郝伟;;不完备或缺失数据及其填补方法研究[J];福建电脑;2007年04期
7 杨军;赵宇;;使用回答概率的回归插补[J];工程数学学报;2008年04期
8 秦吉,张翼鹏;现代统计信息分析在安全工程方面的应用——卡尔曼滤波器基本知识[J];工业安全与防尘;1999年04期
9 汪永生,邵惠鹤;通用软测量软件包的开发与应用[J];化工自动化及仪表;2000年02期
10 王旭东,邵惠鹤;神经元网络建模与软测量技术[J];化工自动化及仪表;1996年02期
中国硕士学位论文全文数据库 前4条
1 王丽妍;数据缺失时线性回归统计推断[D];黑龙江大学;2005年
2 茅群霞;缺失值处理统计方法的模拟比较研究及应用[D];四川大学;2005年
3 朱晓峰;缺失值填充的若干问题研究[D];广西师范大学;2007年
4 张成萍;残缺数据的填补[D];中南大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 张星;郝伟;;不完备或缺失数据及其填补方法研究[J];福建电脑;2007年04期
2 邢婧;;缺失数据情形下谐波参数估计的研究现状[J];信息通信;2014年03期
3 沈奇;王池社;;生物缺失数据处理的贝叶斯模型研究[J];微电子学与计算机;2011年07期
4 刘星毅;曾春华;江南雨;陈振华;韦小玲;;缺失数据的处理和挑战[J];钦州学院学报;2008年06期
5 孙亚;;ITS采集交通信息缺失数据修复策略及模型研究[J];黑龙江科技信息;2013年15期
6 肖静;骆如九;宋雯;汤在祥;徐辰武;;带有缺失数据的一种动态聚类方法[J];中国农业科学;2012年21期
7 周秀梅;李作春;覃泽;;有序填充微阵列缺失数据[J];计算机工程与应用;2009年22期
8 张广兴;石治国;余宗敏;;基于B-样条自由节点的外测缺失数据重构方法[J];测控技术;2013年09期
9 郝胜轩;宋宏;周晓锋;;基于近邻噪声处理的KNN缺失数据填补算法[J];计算机仿真;2014年07期
10 冯志兰,刘桂芬,刘力生,郝建生;缺失数据的多重估算[J];中国卫生统计;2005年05期
中国重要会议论文全文数据库 前8条
1 耿直;葛丹丹;;纵向研究非随机缺失数据分析[A];中国现场统计研究会第12届学术年会论文集[C];2005年
2 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 陈楠;刘红云;;基于增长模型的缺失数据处理方法之比较[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
4 肖进;贺昌政;;面向缺失数据的客户价值区分集成模型研究[A];中国企业运筹学[2010(1)][C];2010年
5 曾莉;张淑梅;辛涛;;IRT模型中缺失数据处理方法比较[A];第十一届全国心理学学术会议论文摘要集[C];2007年
6 孙玲;刘浩;袁长亮;;北京市城市快速路微波检测缺失数据分析[A];2008第四届中国智能交通年会论文集[C];2008年
7 张香云;;基于EM算法缺失数据下混合模型的参数估计[A];第十三届中国管理科学学术年会论文集[C];2011年
8 李晓煦;侯杰泰;;结构方程中缺失数据的处理:FIML,EM与MI[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
中国博士学位论文全文数据库 前8条
1 骆汝九;多指标综合评价的非参数方法和缺失数据的聚类方法研究[D];扬州大学;2011年
2 祝丽萍;几种缺失数据和高维数据模型的统计分析[D];山东大学;2012年
3 贾博婷;缺失数据下一类整值时间序列的统计推断[D];吉林大学;2014年
4 刘旭;在完全和缺失数据下基于非光滑估计方程的统计推断与变量选择问题[D];云南大学;2010年
5 赵鹏飞;混沌数据恢复与非线性系统的模型参考控制[D];吉林大学;2010年
6 陆福忠;数据缺失下的分布函数估计问题[D];复旦大学;2007年
7 赵慧秀;可交换的两值数据的统计分析[D];东北师范大学;2009年
8 付志慧;多维项目反应模型的参数估计[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 杨利华;缺失数据的处理方法研究及应用[D];景德镇陶瓷学院;2011年
2 袁中萸;多元线性回归模型中缺失数据填补方法的效果比较[D];中南大学;2008年
3 崔朝杰;含有缺失数据的两值吸毒数据分析[D];东北师范大学;2009年
4 岳春柳;缺失数据的概率主成分分析[D];东北师范大学;2010年
5 齐丹丹;对含缺失数据的非参可加模型进行成分选取[D];东北师范大学;2010年
6 高海威;中医药临床研究中缺失数据处理方法探讨[D];广州中医药大学;2012年
7 胡贤利;混合型数据的缺失数据的填补[D];中南大学;2013年
8 邓银燕;缺失数据的填充方法研究及实证分析[D];西北大学;2010年
9 牛红影;含有缺失数据图模型的可识别性[D];东北师范大学;2006年
10 冯志兰;缺失数据的估计与应用[D];山西医科大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026