基于双目视觉的机器人三维环境认知研究

【摘要】：计算机视觉是机器人工程领域的重要组成部分,双目视觉已发展为计算机视觉最重要的研究内容之一。基于双目视觉的机器人三维环境认知技术在无人驾驶,机器人导航,工业生产等方面都有广阔的发展空间。本文面向双目视觉机器人实验平台,通过双目立体视觉系统对环境中的目标物体进行三维点云重建,研究设计了基于深度学习的三维点云识别网络模型,并通过该网络对环境中的实际目标物体进行三维环境认知。本文主要内容总结如下:首先,考虑到传统立体匹配算法在光照失真条件下的匹配效果不佳,且抗干扰能力差,提出了一种多代价交叉聚合的半全局立体匹配算法。在代价计算过程中加入梯度信息代价,结合改进后的高斯加权均值Census变换代价作为最终总代价,减小了视差异常值的影响,增强了算法对光照失真的稳健性,提高了抗干扰能力,并在视差细化中加入了引导滤波,优化了得到的最终视差结果。其次,针对点云数据特性和局部特征提取不明显问题,研究设计了基于深度学习的全局多维特征融合的点云识别网络模型,该网络能够直接处理输入的点云数据,然后将不同层级提取到的特征做最大池化处理,再映射到一维列向量特征进行特征信息融合,与其他方法相比,在降低数据计算量的同时,也降低了计算的时间复杂度。在标准数据集实验中的训练准确率为92.8%,测试准确率为90.8%,与其他算法相比,可实现更好的识别分类效果,在点云识别领域具有一定的应用价值。然后,在研究了双目相机的成像模型和标定模型后,利用相机、镜头、支架和移动底盘搭建了双目视觉机器人实验平台。针对在实际应用中可能遇到的具体问题,设计了一种可调间距双目相机及自动除尘系统,可实现调距和除尘的功能。最后,在现实场景下,通过双目视觉机器人实验平台采集目标物体图像,利用获取到的点云数据对所设计的三维点云识别网络模型进行测试,完成三维环境认知。实验结果表明,该网络能够较好地识别分类出获取到的点云数据,可达到预期的效果。