图像序列光流场计算及三维场景恢复研究

【摘要】： 视觉运动分析是研究从场景的图像序列中提取场景中目标物体的结构、位置和运动信息的理论和方法。它主要涉及到计算机视觉、人工智能、图像处理等学科，广泛应用于工业、军事和医学等领域。视觉运动分析分为基于特征的方法和基于光流场的方法。 本论文主要研究图像光流场计算方法以及由光流场重建三维运动和结构的计算理论与方法。 本文从物体光照模型的角度出发，依据物体色彩和饱和度的量在运动过程中不变的特性，把色彩和饱和度作为色彩特征不变量，提出了基于色彩和饱和度的彩色时变图像光流场计算方法，该方法不仅可以避免RGB颜色模型带来的线性相关问题，而且更符合生物视觉原理。本文选用HSV和HLS两种常用颜色模型计算彩色时变图像的光流场，实验结果表明该方法能得到相当精确的瞬时位置速度且适用于各种运动。 本文还综合视觉运动分析中的两类处理方法，提出了一种基于特征和基于光流场相结合的光流场算法，把图像中的角点作为特征点。首先在图像序列中检测和跟踪角点。然后记录角点在图像序列中的位置。最后通过理论分析认为角点的位移场近似作为图像序列的光流场。把角点的位移场近似作为图像序列的光流场，一方面可以大大减少后续重建三维运动和结构任务的计算量，另一方面解决了两类处理方法中难以解决的跟踪和匹配问题。 在3D运动和结构重建方面，本文改进了基于光流场计算3D运动和结构的线性算法，通过光流运动模型的建立，推导出由角点光流场重建3D物体运动和结构的线性算法。并用改进的线性算法对合成图像序列和真实图像序列进行实验，给出了相应的实验结果。 由于计算问题与问题的描述紧密相关，需要建立计算模型。采用好的计算模型能使光流场与3D物体运动和结构之间存在一种较简单的非线性关系。因此本文利用参考文献[127-130]中提出的非线性动态系统，推导出该非线性动态系统的计算模型，结合计算得出的角点光流场，给定计算模型的初始值和初始状态，采用广义卡尔曼滤波递归地计算图像序列中3D物体的运动和结构。 一般来说，图像特征抽象层次的提高，将更有利于进行图像处理和分析，而且直线特征比点特征更容易检测。直线在大多数人造环境中是最基本的特征，直线可以很稳定地检测和跟踪。 本文在基于直线光流场重建3D运动和结构方面进行了大量的工作。 首先综合边缘直线分割的研究成果，给出了改进后的边缘直线分割方法，该方法以图像边缘的链码表示为基础，逐步删除对完成计算机视觉任务没有意义的链码，并用最小二乘法拟合成图像直线。改进后的方法能尽可能多地从图像中提取直线信息，既可以较准确地提取直线的端点信息，又能得到直线的准确表示。 其次本文提出了一种基于Hough变换的直线跟踪新方法，该方法利用Hough变换中的点线对偶性原理，将在图像空间中对直线的跟踪转化为在参数空间中对点的跟踪。还给出了该直线跟踪方法的合理几何解释。 最后本文提出了一种基于直线光流场重建3D运动和结构的新算法。图像直 线运动时，直线坐标对时间的一阶导数（即速度或称为一次光流）和二阶导数（即 加速度或称为二次光流），由图像中所有的特征直线的坐标、速度和加速度就形 成了一个直线的光流场，本文给出了直线光流场的数学描述。通过建立求解空间 物体运动参数的线性方程组，利用三幅图像ZI条直线对应关系，可以求得物体 的运动12个参数以及空间直线坐标。但是在实际应用当中，要找出这ZI条直线 以及其对应关系是很困难的，因此本文提出的运用解非线性方程组的方法，只需 要6条直线的光流，就可以分步求出物体的12个运动参数，并根据求得的12个 运动参数和一致的图像坐标系中的直线坐标，求得空间直线的坐标，最终实现了 3D场景的恢复。