基于双目视觉的复杂背景下运动目标三维信息重建

【摘要】： 三维重建技术的研究是计算机视觉学科的一个重要领域,而双目视觉则是三维重建中的一项重要技术,它利用左右摄像机拍摄出的立体图像对,依据其中包含的几何关系将场景的三维信息重构出来。本文以构建一个双目视觉实验平台为切入点,在双目视觉系统下,对如何获取复杂背景下运动目标质心的三维信息进行了深入研究。主要包括四方面内容：双目视觉摄像机标定、基于立体视觉的运动目标检测、基于区域相关以及基于特征的两种立体匹配算法、基于MFC框架的双目视觉软件开发平台。 在双目视觉摄像机标定方面：采用国际象棋棋盘作为定标物,通过Matlab仿真获取棋盘角点的坐标信息,并用亚像素处理方法提高坐标精度。然后依据平面模板两步法进行参数求解,获取了摄像机的内部外部参数以及畸变参数的最优解。通过实验数据分析,验证了本方法的有效性。 在基于立体视觉的运动目标检测方面：结合单目视觉下的背景差分算法,提出了一种结合灰度和视差的背景差分算法,能够有效地结合两种算法的优点。通过实验数据分析,验证了该算法对于复杂背景(有噪声和阴影干扰)下的运动目标检测的有效性和精确性。 在立体匹配和三维信息重建方面：在实际应用中,场景往往受到光线和噪声的干扰,而且在大多数场合下,往往只关注场景中运动目标的三维信息。因此本文首先采用区域相关匹配算法获取视差图,结合背景差分算法精确地检测出复杂背景下的运动目标,然后仅针对左右图像中检测出的运动目标,采用特征匹配算法进行二次立体匹配。结合摄像机标定结果,获取运动目标质心的精确三维信息。通过实验数据分析验证了本方法的鲁棒性。 在构建一个双目视觉实验平台方面：利用Microsoft公司提供的DirectShow平台获取左右视频信息,通过Matlab Engine方式完成在MFC框架下对Matlab的调用,处理结束后在MFC程序中,通过使用Static类提供了SetBitmap成员函数实现结果显示。通过系统效果演示,表明该平台可以正常运行,使研究工作更加聚焦算法本身。