基于偏微分方程的立体匹配问题研究

【摘要】：立体匹配是计算机立体视觉研究领域的核心问题,是指从不同视点拍摄的两幅或多幅图像中寻找对应点的技术。利用匹配输出的视差图可以恢复物体的三维几何信息,从而被广泛的应用到机器人导航、运动跟踪、三维重建等诸多领域。作为成像逆过程的立体视觉是不适定问题,要对包含很多不利因素的图像进行准确匹配,难度是很大的,立体匹配成为充满挑战性的问题,对它的研究具有重要的理论价值和实践意义。 为了获得立体匹配确定性的解,通常需要施加多个约束条件。根据约束条件,现有的立体匹配算法主要分为两大类：基于局部约束的算法和基于全局约束的算法。基于局部约束的算法是利用兴趣点周围的信息进行计算,涉及的计算量少,因此计算复杂度低,但对于非纹理、噪声、畸变等比较敏感。基于全局约束的算法是利用扫描线或整幅图像的信息进行计算,通常把求解匹配的问题转换为能量函数优化问题,计算精度高、鲁棒性好,但计算复杂度高。立体匹配算法主要包含4个步骤：初始匹配代价计算、代价积聚、视差计算或优化和视差细化。对于局部约束算法来说,研究重点在于代价积聚算法上。理想的代价积聚算法,应该只积聚和中心点具有相同视差的邻域点的代价,虽然研究人员提出了多种自适应积聚算法,但远远达不到理想算法的积聚要求；对于全局约束算法来说,研究重点在于视差优化方法上,包括能量模型的设计和优化求解算法。 偏微分方程是一类重要的数学分析模型,它有完整的数学理论基础,适合描述高度非线性物体(如曲线、曲面、矢量场等)的连续演变过程。偏微分方程通过一阶或二阶导数描述图像的局部几何特征,并且可以根据图像的局部几何特征控制扩散速度和方向,因而在平滑同质区域的同时可以保持边缘等边界特征。近年来,偏微分方程在图像处理的应用得到广泛的关注,成为新的研究热点。而偏微分方程应用在立体匹配问题中的研究成果还不是很多,目前主要的研究内容包括：基于变分方法的全局算法、利用扩散方程进行代价积聚的局部算法、滤波方法和偏微分方程的相关性研究、偏微分方程求解的实时性算法等。本文主要研究利用扩散方程和滤波技术求解立体匹配问题的理论和方法。 本文首先论述了计算机立体视觉技术的基本原理、应用偏微分方程的优点、立体匹配算法的研究现状,接着分析了偏微分方程求解立体匹配问题不同层次和角度的研究方法,得出了3种研究思路：利用扩散方程进行代价自适应积聚、基于滤波的局部算法和在变分框架下基于能量函数的全局算法。在此基础之上,本文系统、详细地阐述了通过偏微分方程求解立体匹配问题的基本原理、设计思路、数值求解和实验结果等。主要包括以下研究内容： 1)利用非线性扩散方程进行代价的自适应积聚。 非线性扩散方程具有各向异性扩散性能,利用它进行代价的自适应积聚,主要是通过非线性扩散实现代价空间的平滑,同时保持不连续性。该类设计方法属于局部设计方法,研究的重点在于两方面：一是扩散函数的设计。扩散函数定义了扩散过程的几何特性,因为它控制了扩散的方向和速度,为了实现各向异性扩散,一般是基于图像的局部几何特征设计张量形式的扩散函数；二是扩散方程的形式。不同形式的扩散方程具有不同的扩散过程,希望设计的扩散方程能根据预定义的扩散几何特性进行准确扩散。本文提出了两种利用非线性扩散方程完成代价自适应积聚的算法。 第3章从贝尔特拉米几何框架中推导出贝尔特拉米流动方程,分析了该方程的非线性扩散的特性。贝尔特拉米流动方程中并不包含图像的局部几何特征,并且对角点等图像特征进行了各向同性扩散,因此,本文改进了贝尔特拉米流动方程中的扩散函数形式,包含了反映图像局部几何特征的特征值,能够更好地保留边缘、角点等图像特征。 贝尔特拉米流动方程是散度形式的扩散方程,但散度算子使扩散方程受到扩散张量空间变化率的影响,从而不能准确按照预定义的扩散几何特性进行扩散。因此,第4章中提出利用基于迹的扩散方程进行代价自适应积聚算法。基于迹的扩散方程是比散度形式扩散方程更局部化的方程形式,扩散性能优于散度形式的扩散方程。通过设计基于迹的扩散方程中的扩散张量,可以准确地控制扩散的方向和速度。在基于张量驱动的滤波求解方法中,本文引入了反映图像局部几何特征的权,提高了方程的扩散性能,实现了代价的自适应积聚。 2)利用滤波方法进行代价的自适应积聚。 双边滤波是一种非线性平滑技术,给邻域中的每个像点分配两种权值：基于空间距离的空间权和亮度或颜色距离的范围权(或灰度权)。双边滤波支持窗口内的权值和图像内容相关,滤波时考虑了图像的局部特征,可以在平滑数据的同时保持边缘等特征。双边滤波因为具有良好的平滑特性,被广泛的应用在不同的图像处理任务中,而它和偏微分方程之间的相关性也成为新的研究热点。本文提出了利用改进的双边滤波进行代价自适应积聚的两种算法。 第5章中,首先针对双边滤波模型中的范围权只考虑了两点之间的亮度或颜色差,提出了一种扩展的双边滤波模型。在该模型中,通过两次加权平均过程来建立范围权,最后的范围权反映了两点的块相似性和邻域点的块相似性,比基于单点亮度或颜色差的范围权更能准确地表示两点的相似度,提高了代价积聚的精度。并且通过调整参数,可以从扩展模型中推导出不同的代价积聚算法。 接着,5.2.3小节提出引入新权值的改进双边滤波算法。结构张量能够准确地反映图像的局部几何结构特征而被广泛应用到图像处理任务中。因为一阶导数容易受噪声的影响,所以结构张量在应用之前通常进行平滑处理。本文利用双边滤波对结构张量的各分量进行非线性平滑,然后在多尺度空间建立非线性结构张量,选用对数-欧几里德算子计算多尺度非线性结构张量的距离,基于该张量距离建立新的权值,并把它引入到双边滤波模型中。改进的双边滤波算法中的权值能够反映两个相关像点局部几何特征的相似性,使得代价的积聚性能提高。 本论文的创新点主要有以下几点： 1)本论文基于贝尔特拉米流动方程完成自适应代价积聚。针对非线性扩散方程的不足,提出在扩散函数中增加图像数据对应的信息,改进了扩散张量特征值表达式的形式。通过把代价驱动和图像驱动相结合,实现了基于代价空间和图像空间几何特性的自适应代价积聚,提高了视差精度。 2)和基于散度形式扩散方程的方法不同,本论文首次把扩散性能良好的基于迹的偏微分方程用于立体匹配。在张量驱动的滤波求解方法中,引入新的权值,使得可以更好地利用图像的局部几何特征,准确地控制扩散过程,从而满足代价自适应积聚的要求。 3)针对初始双边滤波中范围权的局限性,本文提出了扩展双边滤波模型。通过两次加权平均过程对范围权进行扩展,基于该模型实现了自适应代价积聚算法,有效地提高了视差精度。并且通过调整参数,可以从该模型中推导出多种代价积聚算法。 4)本文首次把反映图像纹理特征的多尺度非线性结构张量应用到立体匹配中。通过计算相关两像点的张量距离建立了新的权值,和双边滤波原有的空间权、范围权结合,更准确地反映了两点的相似性,从而使基于双边滤波的立体匹配算法精度更高。 本文主要研究了利用偏微分方程解决立体匹配问题的原理和方法,设计了利用非线性扩散方程和非线性滤波技术新的局部算法,得出了有益的结论,为下一步研究提供了理论基础和实验数据,也为偏微分方程在图像处理、计算机视觉等领域的应用提供了新的研究思路和方法。