收藏本站
《广东技术师范大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于生成对抗网络的跨模态图像生成研究

张露娟  
【摘要】:多模态图像是指利用不同技术手段采集得到的描述同一对象不同属性特征的图像。例如:对于某一对象来说,使用相机拍摄得到的彩色图像和使用激光雷达扫描得到的深度图像称为该对象的两种模态图像。在基于深度学习的图像处理中,使用多模态图像有助于提高对象属性的表达能力,有助于获取研究对象更全面、更精确的信息,从而扩展和提升相关应用的处理能力。然而,受限制于设备、成本等原因,直接获取物体的多模态图像往往是非常困难的。为了解决物体某一模态图像获取困难的问题,本文受启发于图像到图像转换的思想,提出了跨模态图像生成方法:利用物体对象某一容易获取的模态图像生成所需的目标模态图像。针对现有图像到图像转换算法在处理跨模态图像生成时的不足,本文提出加入少量真实目标观测来生成符合现实要求的目标模态图像,而且,根据对目标观测的两种不同处理方式提出了两种不同的跨模态图像生成模型。实验表明,本文方法能够在实际应用中有效提高应用系统的准确性和稳定性,且具有较强的迁移学习能力和泛化能力。本文的主要工作包括以下3个方面:(1)提出了稀疏目标观测辅助的跨模态图像生成方法,并基于生成对抗网络构建了跨模态图像生成模型--GAN2C。该模型通过利用GAN的对抗学习以及稀疏目标观测的监督学习,提高了跨模态图像生成的效果。图像颜色恢复实验的结果表明,与经典的图像到图像转换算法相比,本文方法能够生成逼近于真实的彩色图像。(2)针对稀疏图像中有效观测的稀疏性以及卷积神经网络在处理稀疏图像时的局限性,提出了一种稀疏卷积融合操作,并结合跨模态图像生成,构建了一种稀疏卷积融合网络(SCFN)。稀疏卷积融合网络能够从稀疏的目标观测图像中提取有效的模态信息并将其与源模态图像进行融合学习。(3)将提出的跨模态图像生成架构应用到图像深度估计任务中,包括室内场景图像和室外交通场景图像。实验结果表明,本文提出的方法能够得到与最先进的图像深度估计方法相比拟的深度估计精度。本文方法在NYU-Depth-v2数据上的RMSE达到了0.261 m;在KITTI数据集上的RMSE达到了962.30 mm。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前12条
1 李昂;宋晓莹;;基于生成对抗网络的遥感图像超分辨率重建[J];光学与光电技术;2019年06期
2 孙旭;李晓光;李嘉锋;卓力;;基于深度学习的图像超分辨率复原研究进展[J];自动化学报;2017年05期
3 曾凯;丁世飞;;图像超分辨率重建的研究进展[J];计算机工程与应用;2017年16期
4 沈焕锋;李平湘;张良培;王毅;;图像超分辨率重建技术与方法综述[J];光学技术;2009年02期
5 丁海勇;卞正富;;数字图像超分辨率重构技术研究[J];计算机与数字工程;2007年10期
6 孔玲莉,黄华,齐春,刘美娟;图像超分辨率研究的最新进展[J];光学技术;2004年03期
7 张清勇;陈智勇;骆潇原;;基于生成网络的遥感图像超分辨率的研究[J];实验室研究与探索;2019年03期
8 王威;张彤;王新;;用于图像超分辨率重构的深度学习方法综述[J];小型微型计算机系统;2019年09期
9 谢雪晴;;基于残差密集网络的单幅图像超分辨率重建[J];计算机应用与软件;2019年10期
10 李昂;;基于对抗神经网络和语义分割技术的图像超分辨率系统的研发和应用[J];有线电视技术;2019年11期
11 胡长胜;詹曙;吴从中;;基于深度特征学习的图像超分辨率重建[J];自动化学报;2017年05期
12 钟雪燕;夏前亮;陈智军;;基于FPGA的图像超分辨率的硬件化实现[J];现代电子技术;2017年17期
中国重要会议论文全文数据库 前10条
1 林国强;王博;孔英会;胡启杨;;基于压缩感知的变电站巡检图像超分辨率重建[A];第37届中国控制会议论文集(F)[C];2018年
2 姜倩茹;白煌;;基于双字典设计的图像超分辨率重构[A];信号处理在生仪2014学术年会论文集[C];2014年
3 杨浩;高建坡;陈向东;吴镇扬;;利用示例图像获取先验知识的图像超分辨率重建算法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
4 张东;韩军;;图像超分辨率重建算法研究[A];2010年西部光子学学术会议摘要集[C];2010年
5 阮小燕;陈向宁;高孟男;;基于相位相关法与小波变换的图像超分辨率重建[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
6 张煜东;吴乐南;奚吉;王水花;;变长小生境算法用于图像超分辨率复原[A];2009年通信理论与信号处理学术年会论文集[C];2009年
7 闫允一;郭宝龙;;基于小波的图像超分辨率重建算法研究[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
8 张琼;付怀正;沈民奋;;基于稀疏表示的彩色图像超分辨率重建算法[A];第十五届全国图象图形学学术会议论文集[C];2010年
9 姚林;;基于双边滤波插值图像超分辨率重建算法研究[A];云南省测绘地理信息学会2015年学术年会论文集[C];2015年
10 韩玉兵;殷玮玮;吴乐南;;基于Wavelet-HMM的图像超分辨率重建[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
中国重要报纸全文数据库 前2条
1 记者 刘肖勇 蔡敏霞 通讯员 严偲偲;一套算法让模糊低清小视频变高清[N];广东科技报;2019年
2 本报见习记者 丁宁宁 通讯员 严偲偲;一套算法夺四项冠军[N];中国科学报;2019年
中国博士学位论文全文数据库 前10条
1 邱康;基于机器学习的图像超分辨率重建关键技术研究[D];武汉大学;2018年
2 李莹华;基于压缩感知的图像处理方法及应用研究[D];西安电子科技大学;2019年
3 张凤珍;分离字典优化及其在图像处理中的应用[D];北京交通大学;2018年
4 肖斐;图像超分辨率与基于目标模型的目标识别方法研究[D];华中科技大学;2017年
5 唐永亮;单幅图像超分辨率重建方法研究[D];重庆大学;2018年
6 岳波;基于学习的图像超分辨率重建方法研究[D];西安电子科技大学;2018年
7 孙镱诚;基于压缩感知的图像超分辨率重建方法研究[D];南京理工大学;2018年
8 魏烨;单幅图像超分辨率重建方法及其视觉位移测量应用研究[D];中国科学技术大学;2019年
9 翟海天;图像超分辨率重建关键技术研究[D];西北工业大学;2016年
10 查志远;基于稀疏表示与低秩模型的图像复原算法研究[D];南京大学;2018年
中国硕士学位论文全文数据库 前10条
1 段然;基于生成对抗的图像超分辨率研究[D];华北电力大学(北京);2019年
2 赵丽娟;基于递归残差网络的图像超分辨率研究[D];华北电力大学(北京);2019年
3 柴晓亮;基于深层残差卷积神经网络的图像超分辨率重建算法[D];华北电力大学(北京);2019年
4 刘闯闯;精确与高感知质量的单幅图像超分辨率问题研究[D];华南理工大学;2019年
5 彭亮;基于学习的图像超分辨率重建算法研究[D];华南理工大学;2019年
6 贾晓义;基于深度学习的图像超分辨率算法研究[D];华南理工大学;2019年
7 刘村;基于深度学习的图像超分辨率重建方法研究[D];上海交通大学;2018年
8 黄金;SAR图像超分辨率增强关键算法研究[D];电子科技大学;2019年
9 况奇刚;面向全尺度倍增比的图像超分辨率关键技术研究[D];东华大学;2019年
10 汪海敏;基于卷积神经网络的图像超分辨率重建[D];电子科技大学;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978