收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

高维缺失数据的插补问题研究

刘怡超  
【摘要】:随着现代科学信息技术的发展,高维数据的缺失问题已经变得越来越常见,加上我国即将进入全新的5G时代,所以我们也将会接触到更多并且更高维的数据。张量可以用来描述高维结构的数据,也就是本文主要的研究对象。但是在实际应用时,数据经常会在传输过程中出现缺失、噪声和污染的情况,因而我们得到的数据往往是不完整的,所以需要根据已知的信息推测出未知的元素从而将缺失的高维数据补全。张量完整化方法就是以此为目的的一种数据科学方法,它已经是数据挖掘、推荐算法和计算机视觉等众多领域中所研究的重要课题,也是本文的核心内容。本文第1章首先介绍了高维缺失数据插补问题的研究背景及意义,提出了张量完整化方法及其研究现状,还有本文的创新点。第2章对张量完整化问题进行了细致的展开,讨论了张量的分解类型,并对张量完整化问题的一般模型进行了说明。另外本文利用Log函数来替代秩函数,构建了基于log函数的非凸张量完整化模型,从而可以增加对较小奇异值的惩罚同时减少对较大奇异值的惩罚,得到更加精确的解。第3章利用DC规划与DC算法对模型进行求解,并提出了Log-TC算法。第4章进行了数值实验,利用人工随机生成的张量为对象来测试算法的有效性,并将本文算法Log-TC与快速低秩张量完整化算法(FaLRTC)和FP-LRTC算法进行比较,然后将算法Log-TC应用到彩色图像恢复中来测试算法对于处理实际生活中高维缺失数据的插补能力。最后,第5章总结了本文的主要工作,提出结论并对改进目标进行了展望。本文通过采用基于Log函数的张量完整化模型来解决高维缺失数据的插补问题,最终得出结论。在合成随机张量的实验中发现,首先对于相同大小的张量,当其秩相同时,随着取样率的增大,该算法恢复的精度越来越好,时间也随之变快。接着当设置取样率都相同的情况下,随着秩越来越大,问题也就变得越来越困难,但是Log-TC算法表现出来的精度仍然都比其他两种算法恢复得要好。其次,当张量的大小不相同时,无论是针对“简单问题”还是“复杂问题”,从测算的结果可知,Log-TC算法恢复张量的相对误差是最佳的,并且时间也是用的最少的。最后,在利用改进后的模型解决图片恢复的问题时,不管彩色图像是纹理结构突出的图片还是纹理结构较弱的图片,Log-TC算法都能以较为理想的精度恢复,进而说明本文研发的Log-TC算法是有效的。因此通过实证研究表明,本文所提的算法是可以成为今后实际应用中的一个新的选择。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 夏利宇;何晓群;;基于收缩近邻方法的征信缺失数据插补研究[J];数学的实践与认识;2017年08期
2 于力超;;纵向调查中缺失数据的来源及插补调整方法[J];中央民族大学学报(自然科学版);2017年03期
3 杨基栋;;缺失数据的插补方法及其统计分析[J];华北水利水电学院学报;2010年02期
4 康春花;孙金玲;孙小坚;曾平飞;;缺失数据比率和处理方法对非随机缺失数据能力参数估计准确性的影响[J];江西师范大学学报(自然科学版);2017年03期
5 董学思;林丽娟;赵杨;魏永越;戴俊程;陈峰;;多组学联合缺失数据填补方法的评价[J];中国卫生统计;2017年04期
6 杨金英;崔朝杰;;图模型方法用于二值变量相关性分析中缺失数据的估计[J];中国卫生统计;2012年05期
7 赵远英;吴刘仓;徐登可;;带有不可忽略缺失数据的联合均值与方差模型的贝叶斯估计[J];昆明理工大学学报(自然科学版);2020年01期
8 杨弘;田晶;王可;张青;韩清华;张岩波;;混合型缺失数据填补方法比较与应用[J];中国卫生统计;2020年03期
9 程豪;;大数据背景下缺失数据问题及对策[J];中国统计;2019年10期
10 许凯;何道江;;有缺失数据的条件独立正态母体中参数的最优同变估计[J];数学学报(中文版);2016年06期
11 王军;李建勋;韩山;王兴;;一种效能评估中缺失数据的填充方法[J];上海交通大学学报;2017年02期
12 吴洁琼;吕小纳;党志军;;网络高并发信息的缺失数据修复方法仿真[J];信息通信;2017年11期
13 喻成林;黄强;李钢;;观测站缺失数据修复的神经网络模型研究[J];矿山测量;2014年01期
14 帅平;李晓松;周晓华;刘玉萍;;缺失数据统计处理方法的研究进展[J];中国卫生统计;2013年01期
15 张伟;冯萍;赵永红;袁佳英;李梅;;加权估计方程用于缺失数据的处理[J];中国卫生统计;2013年03期
16 詹棠森;;缺失数据调整修正优化磨光法研究及陶瓷中的应用[J];中国陶瓷;2012年06期
中国重要会议论文全文数据库 前10条
1 印明辉;秦婷婷;伏振;严明明;尹平;;贝叶斯累加回归树模型处理缺失数据研究[A];2017年中国卫生统计学学术年会论文集[C];2017年
2 耿直;葛丹丹;;纵向研究非随机缺失数据分析[A];中国现场统计研究会第12届学术年会论文集[C];2005年
3 刘红云;;追踪研究中非随机缺失数据的处理:基于模型的方法及其应用[A];第十五届全国心理学学术会议论文摘要集[C];2012年
4 管河山;姜青山;Steven X.Wei;;一种处理缺失数据的新方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 肖悦;刘红云;;密集型追踪数据中数据的缺失机制及缺失比例对时变效应模型估计精度的影响[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
6 孙金玲;;混合测验中非随机缺失数据的缺失比率与处理方法对IRT参数估计的影响[A];第十八届全国心理学学术会议摘要集——心理学与社会发展[C];2015年
7 李晓煦;侯杰泰;;结构方程中缺失数据的处理:FIML,EM与MI[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
8 周晓东;汤银才;费鹤良;;定数转换步加试验缺失数据场合下的参数估计[A];中国现场统计研究会第十三届学术年会论文集[C];2007年
9 叶素静;唐文清;张敏强;;追踪研究中缺失数据的处理方法述评[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
10 邹文楠;郑泉水;;高阶偏张量研究[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集(下)[C];2007年
中国博士学位论文全文数据库 前10条
1 丁先文;缺失数据模型的估计与变量选择[D];云南大学;2018年
2 高航;面向缺失数据的机器学习算法研究[D];国防科学技术大学;2016年
3 唐琳;带有不可忽略缺失数据的广义半参数非线性模型的统计推断[D];云南大学;2017年
4 龚奇源;面向数据发布的数据匿名技术研究[D];东南大学;2016年
5 陆福忠;数据缺失下的分布函数估计问题[D];复旦大学;2007年
6 骆汝九;多指标综合评价的非参数方法和缺失数据的聚类方法研究[D];扬州大学;2011年
7 马友;基于QoS缺失数据预测的个性化Web服务推荐方法研究[D];北京邮电大学;2015年
8 郭东林;缺失数据下几类回归模型的估计方法与理论[D];北京工业大学;2017年
9 解东方;心血管病流行病调查中缺失数据填补方法的比较及模拟研究[D];北京协和医学院;2014年
10 罗显贵;带缺失数据列联表与半参数非线性动态因子模型的统计推断[D];云南大学;2015年
中国硕士学位论文全文数据库 前10条
1 刘怡超;高维缺失数据的插补问题研究[D];河北经贸大学;2020年
2 朱建斐;数据集缺失数据恢复算法研究[D];西安电子科技大学;2015年
3 石章波;缺失数据下众数线性模型的统计诊断[D];云南大学;2018年
4 宋雅婷;缺失数据处理方法及其在临床试验中的应用[D];华中科技大学;2019年
5 陈婉娇;缺失数据插补方法及其在医学领域的应用研究[D];华南理工大学;2019年
6 樊霞;WSN中缺失数据重建算法研究[D];重庆邮电大学;2019年
7 许天歌;缺失数据下的P2P借贷违约风险评价方法研究[D];合肥工业大学;2019年
8 杨博;数据部分缺失下产品定价优化方法研究[D];大连理工大学;2019年
9 黄枫;潜在类别模型的研究及其在缺失数据处理中的应用[D];云南大学;2019年
10 马奕佳;缺失数据下部分非线性变系数EV模型的研究[D];北京工业大学;2019年
中国重要报纸全文数据库 前8条
1 倪鹏 廖圣柱 陈海波;全方位张量CSMT数值模拟研究取得阶段性成果[N];中国矿业报;2016年
2 本报记者 高建成;洛阳大张量贩跋涉民营路[N];中国商报;2002年
3 服务业处 徐青 王超 周璐 刘菲菲;用插补分析解决营利性服务业缺失值[N];中国信息报;2015年
4 宝木;小版张量微品精热点可期[N];中国商报;2002年
5 能源统计处 张颖 王燕 丁宁;利用插补技术 搞准规下工业营业收入指标[N];中国信息报;2015年
6 刘若帆宋林;诗邦金A6+1:凭借其质提高其量[N];农资导报;2008年
7 景春玲 陈燮函 国家统计局西安调查队;城乡住户调查“粗细账”改革试点思考[N];中国信息报;2015年
8 梅松;尤溪:重插补栽降低损失[N];三明日报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978