基于半直接法的单目视觉里程计设计与实现

【摘要】：随着近几年计算机视觉和图像处理等技术的不断演进,视觉传感器在越来越多的场景下得以应用,视觉里程计是其中非常重要的一个方向。视觉里程计通过相机输入的图像定位自身在三维空间中的位置,相比于基于视觉的同步定位与构图,视觉里程计的效率更高、对硬件的要求更低;相比于传统的轮式里程计,视觉里程计不会受到轮子打滑、空转的影响。随着AR、自动驾驶、无人机等技术的发展,视觉里程计的应用场景逐渐趋于移动化、复杂化。基于此,本文以鲁棒、快速为目标,设计并实现了一个单目视觉里程计系统。本文的主要工作可归纳为:(1)对目前国内外视觉里程计技术的发展和研究现状进行了综述,论述了本课题的研究意义。深入的研究了单目视觉里程计的相关理论知识,为本文的系统设计和算法改进奠定理论基础。同时对视觉里程计的特征点法、直接法、半直接法的原理和优缺点进行研究和分析,并在此基础上最终选取半直接法作为本系统的设计基础。(2)在半直接法的设计思想基础上,对SVO(Semi-direct Visual Odometry)进行改进和扩展,提出了一种结合点特征和线特征的半直接单目视觉里程计系统。本系统一共包含四个模块:图像预处理、基于模型选择的初始化、基于半直接法的相机跟踪、基于深度滤波的地图构建。本系统吸取了SVO快速、高效的优点,同时对SVO鲁棒性不足的缺陷进行改进,可对相机的运动进行快速、鲁棒、高精度的估计。(3)对SVO的初始化、姿态估计、地图构建等过程中的缺陷提出针对性的改进措施,具体包括6个方面:引入线段特征,提升在点特征缺失区域的鲁棒性;在初始化时,使用模型选择提升成功率和初始姿态的质量;提出一种新的关键帧选取策略,减少对相机视角的限制,从而降低对应用场景的限制;提出预更新的策略提高三维点深度值的收敛速度;提出地图点参考帧更新的方法该降低对环境光照变化的敏感程度。最后在公开数据集上对本文系统进行了实验验证,实验结果表明,本文所设计的系统在实时性、鲁棒性、相机轨迹精度方面均有优良的表现。