收藏本站
《中国科学院大学(中国科学院长春光学精密机械与物理研究所)》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

复杂环境中联合CNN与IMU的单目视觉SLAM方法研究

马萍  
【摘要】:单目视觉SLAM系统是通过相机采集图像信息进行定位与地图构建的计算机视觉系统,SLAM技术广泛应用于三维重建、视觉避障与路径规划等场景,对提高无人自主系统的自主化、智能化等具有重要意义。SLAM技术是计算机视觉领域中的一个研究热点,发展十分迅速。但是现有的视觉SLAM系统主要以特征点法为基础,在实际应用中往往存在大量的复杂场景,比如光照变化、纹理缺失、快速旋转和运动目标等。在这些复杂环境中,传统的单目视觉SLAM算法无法充分感知环境信息,同时还存在运动退化的现象,在算法的精度和鲁棒性方法都有着较大的提升空间。因此,本文针对现有SLAM算法中存在的一些问题进行了深入研究。本文的主要贡献如下:(1)针对单目视觉SLAM系统的初始化过程复杂,条件严格,以及单目视觉系统的尺度不确定问题。近年来,随着深度学习理论的发展和GPU等硬件计算能力的提升,本文引入了基于CNN的深度预测网络。通过深度预测网络获取初始图像帧中关键像素点的深度值,给系统估计出一个尺度,一定程度上缓解了单目视觉SLAM系统的尺度不确定性问题,同时还降低单目视觉SLAM系统的初始化门槛,即不需要平移就能够进行初始化,同时在快速旋转等情况下仍然能够快速初始化成功。为了提高后续帧中关键像素点的深度值的精度,本文设计了像素点的亮度值编码序列模式,增加了像素点间的结构稳定性和关联性,提高了像素点的匹配度。在数据集TUM提供了光度模型参数与曝光时长等信息的情况下,实验结果表明本文算法相比目前领先的算法DSO在精度上有一定提升。(2)由于单目视觉SLAM系统往往在室外非结构化的大动态场景中工作,但是单目视觉SLAM算法依赖于静态的空间路标点,为了使单目视觉SLAM系统能够适应动态的工作环境,本文引入Mask R-CNN对关键帧中特定的目标进行识别和分割。将单个目标分割区域的像素值针对不同的目标类别乘以数值叠加到同一个掩膜,像素大小对应到原图中像素点的目标类别归属。由于网络无法感知环境中的目标在时间与空间上的运动关联,所以本文将场景中不同的类别的目标定义为静态目标或者潜在的动态目标,例如车、人等为潜在的动态目标,将关键像素点的坐标位置对应到掩膜中像素,对标记为潜在动态点的像素点进行运动一致性检测来判定这类像素点的真实状态。在CityScapes数据集上进行验证,实验结果表明在动态环境中本文算法的精度相比DSO得到了提升。(3)在前面的论述中,在单目视觉SLAM系统的初始化时利用基于CNN的深度预测网络预测初始图像帧的深度值,能够快速完成单目视觉SLAM系统的初始化。但是在缺少光度模型参数与曝光时长等信息的情况下单目视觉SLAM系统存在尺度漂移的问题,严重影响了系统的精度。本文采用单目相机和IMU融合的方式有效地解决了尺度漂移问题。在数据集EUROC上进行实验验证,实验结果表明在缺少光度模型参数与曝光时长等信息的情况下本文算法相比DSO能够获得更好的精度与鲁棒性。综上所述,本文针对单目视觉SLAM方法中存在的问题进行了深入的研究。针对单目视觉SLAM系统的初始化问题,提出了基于CNN的深度预测网络对系统的初始帧预测深度值,在快速旋转等情况下仍然能够快速初始化成功,同时设计了像素点的亮度值编码序列,增加了点的结构特性。针对单目视觉SLAM系统在动态环境中精度差的问题,本文通过深度预测网络预测关键图像帧的深度值,引入了图像分割网络来识别图像帧中影响系统精度的潜在动态目标。针对单目视觉SLAM系统的尺度在缺乏光度模型参数与曝光时长等信息时发生漂移,本文提出了联合CNN与IMU来提高系统的定位精度。本文在数据集上进行验证,实验结果表明本文的算法能够提高单目视觉SLAM系统的精度与鲁棒性。
【学位授予单位】:中国科学院大学(中国科学院长春光学精密机械与物理研究所)
【学位级别】:博士
【学位授予年份】:2020
【分类号】:TP391.41;TP183

免费申请
【相似文献】
中国期刊全文数据库 前10条
1 潘林豪;田福庆;应文健;梁伟阁;佘博;;单目相机-IMU外参自动标定与在线估计的视觉-惯导SLAM[J];仪器仪表学报;2019年06期
2 樊建彪;孙剑;樊欢欢;陈伟;;基于磁力计、IMU和单目视觉的自主定位方法[J];宇航总体技术;2019年06期
3 霍彦希;张诚诚;董振宇;陈伟;张志捷;;基于单目视觉SLAM的无人快递车设计与实现[J];科技传播;2019年07期
4 孙凤池;康叶伟;黄亚楼;刘光;;基于综合互信息的视觉SLAM主动探索[J];模式识别与人工智能;2010年03期
5 祁健诚;;基于双目SLAM的室内导航系统[J];通讯世界;2019年01期
6 王隽永;何衍;陈家乾;;基于单目视觉直线跟踪的SLAM实现[J];机电工程;2007年06期
7 王郅佶;;基于卷积神经网络的描述符提取在SLAM中的应用[J];电子制作;2019年18期
8 施平;;基于多传感器融合SLAM应用的室内机器人研究分析[J];科技资讯;2019年09期
9 温丰;柴晓杰;朱智平;董小明;邹伟;原魁;;基于单目视觉的SLAM算法研究[J];系统科学与数学;2010年06期
10 张展宇;黄亚楼;李超;康叶伟;孙凤池;;单目视觉SLAM仿真系统的设计与实现[J];计算机工程;2008年19期
中国重要会议论文全文数据库 前10条
1 王宇韬;方勇纯;;鲁棒单目视觉SLAM系统研究[A];中国自动化学会控制理论专业委员会C卷[C];2011年
2 温丰;柴晓杰;朱智平;董小明;邹伟;原魁;;基于新型人工路标系统的视觉SLAM算法研究[A];第二十九届中国控制会议论文集[C];2010年
3 程亮;郭杭;余敏;;激光/惯导组合的SLAM技术[A];卫星导航定位与北斗系统应用2019——北斗服务全球 融合创新应用[C];2019年
4 马金盾;张雷;张杰;;基于SLAM的增强现实三维注册技术综述[A];2019第七届中国指挥控制大会论文集[C];2019年
5 Xu Meng;Chen Zonghai;;Comparison between the Initialization of DSO and ORB-SLAM[A];第二十届中国系统仿真技术及其应用学术年会论文集(20th CCSSTA 2019)[C];2019年
6 Li Xiaohan;Wang Jikai;Chen Zonghai;;Feature Performance Analysis on Different Scenes of ORB-SLAM2 System[A];第二十届中国系统仿真技术及其应用学术年会论文集(20th CCSSTA 2019)[C];2019年
7 皮燕燕;王远明;刘为任;王兴岭;;二维场景中SLAM算法对比研究[A];2018惯性技术发展动态发展方向研讨会文集[C];2018年
8 苏丽;李恩泽;刘志林;;基于啮齿类动物神经模型的SLAM算法[A];第37届中国控制会议论文集(D)[C];2018年
9 Jing Wang;Zongying Shi;Yisheng Zhong;;Visual SLAM Incorporating Wheel Odometer for Indoor Robots[A];第36届中国控制会议论文集(D)[C];2017年
10 栗国星;石秉学;;一种用于手写体数字识别的电流型CNN特征提取器[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
中国重要报纸全文数据库 前10条
1 本报特约记者 胡浩;CNN“年度英雄”是个秘鲁人[N];环球时报;2018年
2 马潇;CNN记者提“通话门”激怒乌总统[N];环球时报;2019年
3 蒋智孚;SLAM技术将为智慧矿山带来质的飞跃[N];中国黄金报;2018年
4 中国青年报·中青在线记者 李超 通讯员 阴祥;从灾难中寻找灵感 大学生研发激光救援机器人[N];中国青年报;2017年
5 本报记者 王盼盼;外交部驳CNN涉新疆不实报道[N];环球时报;2019年
6 实习记者 代小佩;AR导航能成为“路痴”福音吗[N];科技日报;2018年
7 本报记者 贡晓丽;开源市场尚需成长[N];中国科学报;2016年
8 通讯员 张涨;复工复产天马“一马当先”[N];中国航空报;2020年
9 中国信息通信研究院 刘思言 苏丹;东风已至,服务机器人产业起跑[N];人民邮电;2018年
10 实习记者 崔爽;扫地机器人真能解放双手吗[N];科技日报;2018年
中国博士学位论文全文数据库 前10条
1 马萍;复杂环境中联合CNN与IMU的单目视觉SLAM方法研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2020年
2 王洪玲;移动机器人适应搜救环境的同时定位和地图构建(SLAM)方法研究[D];山东大学;2018年
3 葛芸;基于CNN迁移特征融合与池化的高分辨率遥感图像检索研究[D];南昌大学;2019年
4 刘丹;智能车辆同时定位与建图关键技术研究[D];北京工业大学;2018年
5 陈孟元;移动机器人仿生SLAM算法研究[D];中国科学技术大学;2019年
6 张超凡;基于多目视觉与惯导融合的SLAM方法研究[D];中国科学技术大学;2019年
7 刘鑫;麻疹病毒通过受体SLAM对昆虫细胞的感染及其诱发细胞凋亡的机制研究[D];武汉大学;2005年
8 金红岩;PPRV全长基因克隆及H蛋白与SLAM受体相互作用的研究[D];中国农业科学院;2014年
9 王丹丹;水下无人潜器同步定位与地图生成方法研究[D];哈尔滨工程大学;2017年
10 苑全德;基于视觉的多机器人协作SLAM研究[D];哈尔滨工业大学;2016年
中国硕士学位论文全文数据库 前10条
1 郑顺凯;自然环境中基于图优化的单目视觉SLAM的研究[D];北京交通大学;2016年
2 温珍强;结合单目视觉的RGB-D SLAM算法及其在云机器人下的实现[D];华东交通大学;2017年
3 李洪臣;单目视觉移动机器人SLAM方法建模与仿真分析[D];电子科技大学;2014年
4 齐晓世;基于单目视觉的无人机SLAM技术研究[D];电子科技大学;2020年
5 刘彤;基于视觉和IMU的自主定位关键技术[D];天津大学;2018年
6 周慧中;基于结构线条的视觉SLAM方法[D];上海交通大学;2015年
7 张继宇;基于视觉的移动平台SLAM技术研究[D];哈尔滨工程大学;2017年
8 王丽佳;基于图优化的单目视觉SLAM技术研究[D];华中科技大学;2016年
9 刘书池;面向工业互联网的井下无人机单目视觉SLAM定位方法[D];北京交通大学;2017年
10 安山;移动机器人单目视觉SLAM中环路闭合检测问题研究[D];山东大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026