视频内容结构分析与总结的准则和算法

【摘要】：视频内容分析是视频信号处理领域中一个非常活跃的研究方向，其基本研究目的是开发出自动化的算法和系统，按照视频的内容对视频数据进行分解、分类和操作。典型应用包括大规模视频数据库、家庭视频的内容过滤等。核心技术有视频的时域和空域分割、视频总结、索引和检索等。本论文对该领域中若干核心问题进行了研究，提出了一系列的功能算法和评价准则，并且为该领域的未来发展提出了建议。 论文为视频切变检测算法提出了“鲁棒性”评价准则，指出好的算法应该有较强的推广能力。设计了两个对视频序列性质具有鲁棒性的算法：基于惯性信息的切变检测算法和具有恒定虚警概率的切变检测算法，其中后者将雷达信号处理的恒虚警处理技术引入视频内容分析领域。同时本文指出了一个新的研究方向：视频镜头转换的精细识别，论述了其重要性，并给出了基于自适应时间片梯度谱软模板匹配的识别方案。 论文在视频总结方面，首先设计了两个实用化的关键帧选取算法：最大运动矢量熵算法和类漏桶算法，然后提出了关键帧选取的“镜头重建度”准则，论证了它是比传统的“保真度”准则更优、更严格的准则，并指出它有助于促进视频分析和视频编码领域关键帧概念的融合。在该准则指导下，论文提出了基于拐点搜索和迭代优化的关键帧选取算法，由此选出的关键帧集合同时具有好的镜头重建度和保真度，并且能够作为视频编码关键帧的子集。其后，论文在视频缩略总结方面提出了基于双层内容重点模型的视频缩略方案。该方案同时考虑了电影制作规则、镜头熵对于缩略度的影响以及镜头内基于物体的内容重点分布，可以在不需要理解视频语义的条件下，得出主观评价很高的视频缩略结果。 论文最后指出，为了从源头上解决视频内容分析所面临的困难，应该建立一种“整体优化”的视频信号处理框架。其要点是在视频采集、视频编辑、视频编码等各个环节为后续的视频内容理解做必要的准备，如视频采集使用双目视觉系统、定义新的原始和压缩码流格式等。论文还针对如何在视频编码器中嵌入分析单元进行了实验研究，为视频内容分析领域的进一步发展提供了参考。