分布式激光雷达与视觉信息融合关键技术研究

【摘要】：高等级无人驾驶无论是出于提高性能、稳定性及实现易用性等方面的考虑,还是从冗余观测以提高安全性的角度出发,均需要融合视觉与激光点云信息完成环境感知、目标探测以及建图定位等核心功能。随着无人驾驶技术的不断发展,量产应用已成为必然趋势,系统软硬件方案必将与车辆生产环节紧密结合,出于成本、车规安全以及安装等方面的考虑,低成本、窄视场激光雷达与摄像头绕车身分布式嵌入安装的方案将成为主流。新的应用场景对传感器的配置与安装提出了新的需求,进而给传统的视觉与激光雷达信息融合研究带来了挑战,如何在窄视场甚至无重叠视场的稀疏、高噪数据基础上完成快速、鲁棒而准确的传感器标定及融合应用成为了亟待解决的新问题。本文研究了分布式激光雷达与视觉信息融合过程中的若干关键技术问题,主要包括窄重叠视场甚至无重叠视场情况下的多激光雷达间的外参标定、相机与激光雷达之间的外参标定以及视觉与激光点云信息融合的环境建模与定位等问题,本文取得了如下的研究成果与创新:(1)系统阐述了批量无人驾驶应用过程中技术方案以及传感器选型与部署等方面的发展趋势,并揭示了其对于视觉与激光点云信息融合带来的新需求与挑战。(2)提出了一种基于地面约束与占有格地图距离变换配准的窄重叠视场多激光雷达外参标定方法。所提出的方法不依赖组合导航设备,也不需要提取相关特征实现关联约束,仅基于点云密度分布特征的直接匹配就具有很高的精度和鲁棒性。(3)提出了一种基于高斯过程回归的激光雷达里程计用于无重叠视场的多激光雷达标定,创新性地将高斯回归过程应用于二维环境SDF函数场的优化估计;利用基于高斯过程隐含表面的激光雷达里程计输出的位姿与隐含表面点,实现了基于相对运动约束的初参估计和隐含表面点与环境SDF函数匹配的外参调优。(4)提出了一种基于对应掩模的端到端的外参估计框架用于相机与激光雷达之间外参关系的求解,利用标定场中的棋盘格实现了准确鲁棒的离线标定,利用自然场景中带有语义信息的平面目标,实现了外参数的在线监测与调优。(5)提出了一种基于点、线特征的单目视觉与激光点云融合的SLAM方法,通过激光雷达点云拟合视觉特征深度并构建联合有视觉与激光点云特征的损失函数估计了更为准确的位姿;构建了具有空间尺度一致性的稀疏视觉特征与稠密激光点云地图,利用视觉词袋与激光点云匹配的方法进行闭环检测的交叉验证,提高了闭环检测的召回率与精度。最后基于视觉特征与点云融合的定位图层进行了快速的全局定位。本文的研究成果服务于研究小组的若干无人驾驶应用,为其提供了技术支撑,其中包括应用于德邦物流武汉-上海高速干线无人驾驶重卡、城市环境无人驾驶RoboTaxi测试车辆以及东风技术中心推出的自动驾驶小巴Sharing-VAN plus和多功能小车Sharing-Smart等。