视频对象平面分割和视频对象提取方法的研究

【摘要】：MPEG-1、MPEG-2、H.261和H.263等经典的视频编码标准由于不需要对场景进行分割或分析，所以从某种意义上说是低级处理技术。尽管它们可以获得比较高的压缩比且应用非常广泛，然而随着多媒体和基于内容交互性的应用日益增多，需有新的视频编码方案。 正在兴起的MPEG-4视频编码标准由于引入了视频对象平面(VOP)的概念而具备基于内容的交互功能。由于输入视频序列的每一帧被分割成任意形状的视频对象平面(VOP)，这样每个VOP描述了一个语义意义的对象或所感兴趣的视频内容。 将视频序列分解成VOP是一项相当困难的任务。生成VOP的难点是所感兴趣的对象往往难以用诸如彩色、亮度和光流等传统的图象分割特征来表达，所以经典的分割算法无法获得有语义的划分。 本论文探讨了生成视频对象平面(VOP)的技术，并且提出了从视频序列中自动分割VOP和自动提取VO的算法，由于视频对象通常以异于背景的运动来表征，所以本算法结合运动信息进行处理。 理论上可以使用光流或运动场估计进行分割，但其对噪声相当敏感，且分割精度也会因遮挡和孔径效应的影响而剧烈降低。另一方面，可通过变化检测掩模将遮挡区域标识为变化的，但除非对象包含足够的纹理信息，否则就难于精确定位对象位置，而且还必需由附加装置来填充对象内部的洞隙。 20()1年上海大学博士学位论文 本文提出一套分割算法可有效地分割出视频对象平面 (VOP).主要有三种方法:一是基于形态运动滤波和活动轮廓 模型的分割方法，另一是基于运动对象边缘帧差和豪斯道夫对象 跟踪的分割方法.此外，为了解决视频对象仅有局部的偶尔运 动，用形态运动滤波器和边缘帧差图象无法提取出整个初始语义 对象的间题，本文还提出一种基于帧差边缘和灰度边缘之间高度 相关性，通过累积运动信息得到语义对象二值边缘模型而分割前 景对象的Vop分割算法. 其中第一种方法，首先根据形态运动滤波器提取出初始对 象，滤波准则为全局支配运动与局部运动的差.标识出初始对象 后，再阑值化和去噪，就可以提取出初始运动对象和其二值轮廓 模型.然后再使用活动轮廓模型在后继帧中跟踪和匹配位置和 形状都发生了变化的对象，最后根据一系列二值轮廓模型，就可 以将序列中的视频对象提取出来.此算法特别适用于前景对象 运动不甚剧烈，静止或运动背景的序列. 第二种方法首先根据边缘帧差图象标识出前景对象，再使用 Calmy算子得到此前景对象的二值边缘模型，为了容纳对象在后 继帧中的位置变化，使用经本文改进的豪斯道夫距离跟踪器跟踪 此对象，以修改的二值边缘模型适应对象在后继帧中的形变.最 后由一系列二值边缘模型引导提取出视频对象.此算法特别适 用于前景对象的运动较激烈和非刚性形变较大而背景是静止的 序列. 使用形态运动滤波器或变化检测掩模无法标识轻微运动的 语义对象，例如某些视频会议中的头肩序列的对象.因此我们提 出一种基于运动对象边缘和帧差边缘高度相关性的双向运动估 计跟踪算法，且修改运动区域边缘的空间位置，删除先前帧中帧 视频对象平面分割和视绷对象提取方法的研究 差图象的边缘，增加当前帧的帧差图象的边缘，从而形成语义对 象的边缘图象，再根据一系列边缘图象提取出运动对象. 本文所提出的算法基于模式识别和对象跟踪原理，因而避免 了某些与运动估计相关的间题.实验也证明本文所提出的算法 可以处理许多典型的视频序列.最后本文也指出对多视频对象 提取和遮挡情况下视频对象提取的问题尚需作更深人探索，才能 有效解决. 本文课题是上海市自然科学基金(卯2D14035)的资助项目.