多模态融合的新闻故事单元分割

【摘要】： 对视频数据的有效处理、浏览、检索和管理正伴随着视频数据的快速增长而成为亟待解决的现实问题。视频内容分析技术旨在将非结构化的视频数据结构化,并提取其中的语义内容,构建低层特征到高层语义之间的桥梁,最终建立视频的摘要、索引和检索等应用系统,提供给用户方便的视频内容获取方式。 本文以新闻视频为研究对象,通过对字幕、音频、视频这三个不同类型信息的研究,实现了对新闻视频故事单元的分割。并以Visual C++为开发平台,设计并实现了一个新闻视频故事单元分割系统。 本文首先对视频进行了结构化的处理,提出了一种改进的镜头边界检测方法,即对运动补偿之后的像素不变点采用自适应双阈值来判定切变镜头和渐变镜头。在此基础之上,对一种字幕检测算法进行了改进,利用小波变换提取图像特征,对其进行模糊C均值聚类,判断出图像帧中的字幕信息；同时以提取的关键帧为基础实现一种主持人镜头的检测方法,利用新闻视频中主持人镜头的固有特点,提取区域图像的颜色特征进行判断,将镜头分为主持人镜头和一般报道镜头。 本文利用基于隐马尔科夫模型的音频分类算法,提取视频中的底层音频信息特征,首先对音频进行静音判断,然后使用隐马尔科夫模型对其进行分类,实现对新闻音频信息的分类与识别。 最后本文以Visual C++6.0为编程平台,实现了新闻故事单元分割系统,完成了对新闻视频的镜头检测、字幕检测,音频分类识别,主持人镜头检测,新闻故事单元分割以及数据库的管理和检索。