基于聚类挖掘的视频摘要生成研究

【摘要】： 随着互联网和多媒体等技术飞速发展,网络视频数量日益剧增。如何帮助用户在浩如烟海视频库中快速浏览所需视频,成为当前急需解决实际问题。近年来,一些视频摘要生成方法被提出,来帮助用户快速了解视频内容主旨,从而找到真正感兴趣视频。 本文主要研究的是面向电视新闻的视频摘要生成技术,即如何利用视觉与文本分析技术,在视频结构化分析基础上,利用聚类挖掘技术将单个视频或多个视频内容进行压缩,产生多种形式视频摘要,并在电视新闻检索系统上进行应用。 在单视频摘要方面,本文首先阐述了视频结构,镜头边界检测算法以及多种常用的视频摘要表现形式。此后,本文分析了目前常用的视频摘要生成算法中最流行的一类方法,以聚类挖掘方式来生成视频摘要,并介绍和分析了利用各种聚类方法进行视频摘要生成的特点。 在多视频摘要方面,针对多视频文档主题分散以及不同类型媒体特征丰富的特点,本文提出了基于复杂图聚类和挖掘的多视频摘要算法。该算法同时分析视频集中视觉和文本特征,创建圆形故事板来呈现有主题代表性的关键帧和关键词。该算法的核心思想是从视频和其对应语音转录文本中分别提取出关键帧和关键词,构造复杂图对其聚类,最终从聚类结果中挖掘具有代表性关键帧和关键词形成多文档视频摘要。在CCTV新闻联播数据集上的实验表明了该算法的有效性。