立体匹配关键技术研究

【摘要】：立体匹配是计算机视觉最活跃的研究问题之一,立体匹配的目标是从同一景物不同角度的两幅或多幅图像中求得景物的立体深度,可以为三维重建、机器人视觉、自主车导航等提供有用的信息,但是立体匹配是一个病态问题,准确地恢复景物视差(深度)目前仍然面临很大挑战。因为在计算机视觉技术中,双目视觉更接近于人的双眼视觉原理,并且在实际应用中更容易实现,所以本课题对双目视觉的立体匹配相关理论及一些关键技术进行了研究,尝试对不同需求建立相应的算法,并通过对真实图像的实验证明了算法的可行性和有效性。 目前固定窗口的立体匹配方法有重要的缺陷,原因是没有办法选择一个统一大小尺寸的匹配窗口。一方面,窗口尺寸要尽量大,以便为可靠匹配包容足够的灰度变化；另一方面,窗口尺寸要尽量小,以避开投影畸变的影响。为了解决这一问题,得到准确的视差图,本文研究了在不同纹理和邻域结构的像素如何采用自适应窗口这一问题,并把这一问题放在更为复杂的彩色图像中来研究,分别结合RGB颜色相似性和HSV模糊相似性提出了多窗口选择和自适应窗口尺寸缩减两种方法,提高了立体匹配的精确度。 图像噪声会极大地影响立体匹配的准确率,为了抑制噪声对匹配结果的影响,本文根据Rank变换的原理,并引入了Census变换和色差梯度的约束条件,提出了基于Rank变换的彩色图像匹配方法。为了解决Rank变换对变换窗口中心像素灰度值过分依赖的缺点,另外本文提出了一种基于领域差值的非参量图像变换方法,实验结果表明抑制了噪声对匹配结果的影响。 传统的立体匹配建立在Lambertian的漫反射模型之上,漫反射模型的立体匹配在一个图像的大多部分是有效的,但是在处理图像中包含镜面反射的部分时会产生严重的匹配错误。为了解决这一问题,本文利用漫反射和镜面反射在灰度和最大色度上的不同,对分离像素中镜面反射部分的方法进行了数学推导,然后提出了在镜面反射部分首先分离镜面反射内容然后再匹配的方法,同时提出了一种针对镜面反射的匹配测度,结果在图像中漫反射部分和镜面反射部分都能匹配得到正确的视差。 图切割将立体匹配转变为全局能量最小化问题,是目前匹配准确率最高的立体匹配方法之一,但是它在视差最大的范围内构造网络规模,匹配时间太长。为了解决这一问题,本文提出了一种基于视差梯度和模糊规则的快速最小割立体匹配方法,根据匹配像素的不同特性,把匹配搜索范围限定在有限的几个候选匹配像素之中,极大地减少了构造网络的规模,在保证高匹配率的情况下明显减少了匹配时间。 由于红外图像具有高噪声、低分辨率的特点,这使得在红外图像中计算场景的深度信息非常困难,目前多采用基于特征的匹配方法,但是提取的特征像素只有物体的边缘,要想生成整幅图的视差非常困难。本文提出了先对图像进行相位一致性变换,然后根据相位一致性变换后图的特点,采用非一致采样方法不均匀地提取出特征像素形成一个网格图,然后利用信任度传播方法计算出网格节点像素的视差,再插值求取整幅图像的视差方法。结果得到了准确的红外场景深度信息。