收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据集缺失数据恢复算法研究

朱建斐  
【摘要】:随着科学技术的高速发展,传感器技术,多媒体技术等已广泛应用到生活的各个方面,产生了大量的数据。这些数据具有规模庞大,维度高,结构复杂的特点,在采集、传输、存储过程中极有可能发生数据的丢失或损坏,如何从具有部分数据丢失的数据集中恢复出原始数据,已成为数据挖掘、机器学习、模式识别以及计算机视觉领域的热点和难点问题。在大量阅读相关文献的基础上,本文对缺失数据处理的发展现状进行了综述。传统的缺失数据处理方法大部分是针对数据规模比较小或者是数据维度比较低的情况,而在大数据时代,需要考虑更加复杂的数据结构。因此本文针对数据规模比较大的矩阵缺失数据恢复问题,以及数据维度比较高的张量缺失数据恢复问题分别提出了恢复算法。本文主要有以下几个方面内容:第一,传统的低秩矩阵缺失数据恢复算法大多需要奇异值分解(SVD)的步骤,如APG算法,FPCA算法,如果矩阵规模比较大,其计算复杂度很高。为了避免每次迭代中大规模矩阵的奇异值分解,本文提出了基于矩阵分解的L2范数最小化框架的超松弛迭代算法(SOR)。通过大量仿真实验,SOR算法不仅保证了算法精度与GS算法一致,同时算法的运算速度有很大的提高,尤其是对大规模矩阵效果更加明显。第二,张量作为数据由向量(一阶)、矩阵(二阶)表示向高阶(大于等于三阶)推广的形式,能够更好的表达复杂数据的本质结构。然而,当前存在的大部分基于张量的缺失数据恢复算法仅仅是简单的将低秩矩阵缺失数据恢复问题的的秩最小化框架扩展应用到张量的缺失数据恢复问题中,将张量分解为独立求解的矩阵核范数问题,这在一定程度上破坏了张量结构特性。本文提出了一种基于张量PARAFAC分解的梯度优化算法(PARAFAC-Grad算法)。仿真实验表明,该算法数据恢复的精度比其它两种算法(Tucker-als和PARAFAC-als)有一定的优势。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 邢婧;;缺失数据情形下谐波参数估计的研究现状[J];信息通信;2014年03期
2 沈奇;王池社;;生物缺失数据处理的贝叶斯模型研究[J];微电子学与计算机;2011年07期
3 刘星毅;曾春华;江南雨;陈振华;韦小玲;;缺失数据的处理和挑战[J];钦州学院学报;2008年06期
4 孙亚;;ITS采集交通信息缺失数据修复策略及模型研究[J];黑龙江科技信息;2013年15期
5 肖静;骆如九;宋雯;汤在祥;徐辰武;;带有缺失数据的一种动态聚类方法[J];中国农业科学;2012年21期
6 周秀梅;李作春;覃泽;;有序填充微阵列缺失数据[J];计算机工程与应用;2009年22期
7 张广兴;石治国;余宗敏;;基于B-样条自由节点的外测缺失数据重构方法[J];测控技术;2013年09期
8 郝胜轩;宋宏;周晓锋;;基于近邻噪声处理的KNN缺失数据填补算法[J];计算机仿真;2014年07期
9 冯志兰,刘桂芬,刘力生,郝建生;缺失数据的多重估算[J];中国卫生统计;2005年05期
10 黄华东;方小勇;陈政;洪俊;黄樱;;一种基于RBF的时序缺失数据修复方法[J];怀化学院学报;2013年05期
11 张亚萍;陈得宝;侯俊钦;杨一军;;朴素贝叶斯分类算法的改进及应用[J];计算机工程与应用;2011年15期
12 王凤梅;胡丽霞;;一种基于近邻规则的缺失数据填补方法[J];计算机工程;2012年21期
13 熊润华;张启灿;;基于优先度排序的3维数据缺失快速插补法[J];激光技术;2014年01期
14 鄂旭;李建革;杨健;沈德海;侯建;;一种食品安全信息系统缺失数据填补方法[J];计算机技术与发展;2014年04期
15 田霆;刘次华;;定时截尾缺失数据下指数分布的统计推断[J];电子产品可靠性与环境试验;2005年06期
16 张赤;丰洪才;金凯;杨婷;;基于聚类分析的缺失数据最近邻填补算法[J];计算机应用与软件;2014年05期
17 付明柏;;基于异质矩阵完全的缺失数据恢复混合集成算法[J];云南师范大学学报(自然科学版);2013年06期
18 方匡南;谢邦昌;;基于聚类关联规则的缺失数据处理研究[J];统计研究;2011年02期
19 俞晓群;马翱慧;;基于Kriging空间插补海表叶绿素遥感缺失数据的研究[J];测绘通报;2013年12期
20 邱珠成;蔡文学;黄晓宇;陈康;;基于个性诊断的路段缺失速度值估计[J];计算机工程与设计;2014年05期
中国重要会议论文全文数据库 前8条
1 耿直;葛丹丹;;纵向研究非随机缺失数据分析[A];中国现场统计研究会第12届学术年会论文集[C];2005年
2 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 陈楠;刘红云;;基于增长模型的缺失数据处理方法之比较[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
4 肖进;贺昌政;;面向缺失数据的客户价值区分集成模型研究[A];中国企业运筹学[2010(1)][C];2010年
5 曾莉;张淑梅;辛涛;;IRT模型中缺失数据处理方法比较[A];第十一届全国心理学学术会议论文摘要集[C];2007年
6 孙玲;刘浩;袁长亮;;北京市城市快速路微波检测缺失数据分析[A];2008第四届中国智能交通年会论文集[C];2008年
7 张香云;;基于EM算法缺失数据下混合模型的参数估计[A];第十三届中国管理科学学术年会论文集[C];2011年
8 李晓煦;侯杰泰;;结构方程中缺失数据的处理:FIML,EM与MI[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
中国博士学位论文全文数据库 前9条
1 马友;基于QoS缺失数据预测的个性化Web服务推荐方法研究[D];北京邮电大学;2015年
2 骆汝九;多指标综合评价的非参数方法和缺失数据的聚类方法研究[D];扬州大学;2011年
3 祝丽萍;几种缺失数据和高维数据模型的统计分析[D];山东大学;2012年
4 贾博婷;缺失数据下一类整值时间序列的统计推断[D];吉林大学;2014年
5 刘旭;在完全和缺失数据下基于非光滑估计方程的统计推断与变量选择问题[D];云南大学;2010年
6 赵鹏飞;混沌数据恢复与非线性系统的模型参考控制[D];吉林大学;2010年
7 陆福忠;数据缺失下的分布函数估计问题[D];复旦大学;2007年
8 赵慧秀;可交换的两值数据的统计分析[D];东北师范大学;2009年
9 付志慧;多维项目反应模型的参数估计[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 杨利华;缺失数据的处理方法研究及应用[D];景德镇陶瓷学院;2011年
2 袁中萸;多元线性回归模型中缺失数据填补方法的效果比较[D];中南大学;2008年
3 褚培肖;缺失数据下的有限混合计数数据模型的统计推断研究[D];昆明理工大学;2015年
4 申宁宁;纵向研究缺失数据多重填补及混合效应模型分析[D];山西医科大学;2015年
5 李少琼;纵向研究二分类缺失数据处理及加权估计方程的应用[D];山西医科大学;2015年
6 高宇钊;比值缺失数据的多重估算与心脏康复二级预防干预效果评价及应用[D];山西医科大学;2015年
7 李顺静;基于EM算法的缺失数据的统计分析及应用[D];重庆工商大学;2015年
8 汪静波;Logistic回归模型中缺失数据的处理[D];南京大学;2015年
9 朱建斐;数据集缺失数据恢复算法研究[D];西安电子科技大学;2015年
10 崔朝杰;含有缺失数据的两值吸毒数据分析[D];东北师范大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978