收藏本站
收藏 | 论文排版

基于语义的视频内容提取与分析关键技术研究

蒋鹏  
【摘要】:近些年来,随着多媒体技术和网络技术的快速发展,出现大量的以视频为主的多媒体数据。如何有效的处理这些海量的视频数据是目前一个研究的热点问题。其中“语义鸿沟”是人与计算机系统交互中的一个重要障碍,这是由于人对视觉媒体的评判标准和计算机系统对视觉媒体的评判标准存在着很大差异。由于计算机系统通常利用颜色、纹理和形状等底层特征进行视频结构分析,然而人们更倾向于利用内容以及语义级别的检索方式进行视频检索。如何减少计算机系统和人类之间的“语义鸿沟”是目前基于内容的视频检索等领域的一个重要突破点。其中视频内容的提取与检索就是解决“语义鸿沟”的重要手段。虽然对于基于内容的视频检索有了很多研究,但这项技术还远远不能满足用户的普遍需求。 本文对基于语义的视频内容提取与分析的几个关键技术进行了研究,研究主要集中于如何自动提取与分析视频内容,实现视频数据的半自动或自动分析和归类,以满足检索的需要。本文分析了传统三层内容分析架构的不足。在此基础上,提出了四层内容分析架构:基本视觉内容层、感知内容层、目标内容层以及场景内容层。通过增加的感知内容层可以更好的解决计算机系统与人类之间的“语义鸿沟”问题。本文的主要研究成果包括: (1)在视觉感知内容层面,重点研究了基于视觉注意模型的感知内容提取模型,并在此基础上提出了动态场景下的视觉显著图生成方法(Salient Map Generation on Dynamic Scene, SMGDS )以及基于时空模型的快速视觉显著图生成方法(Salient Map Generation using Temporal-Spatial Model, SMGTSM)。SMGDS算法通过运动轨迹等运动特征实现了动态场景下的视觉显著图的稳定生成。而SMGTSM则利用一种无监督聚类算法实现了视觉显著图的实时生成。通过SMGDS和SMGTSM有效地实现了视频感知内容的提取,为感知内容层提取奠定了基础。 (2)在目标内容层面上,着重于监控视频的目标提取。分别提出了复杂背景下的自适应前景分割算法(Adaptive Foreground Segmentation in Dynamic Scene, AFSDS)和利用背景聚类的快速前景分割算法(Fast Foreground Segmentation using Background Clustering, FFSBC)。在分析了现有基于高斯混合模型前景分割算法的缺陷后,AFSDS和FFSBC算法分别在目标检测精度和速度两个方法对现有的高斯混合模型(MOG)算法进行了改进。实验证明AFSDS和FFSBC可以在复杂场景下有效地检测出运动前景,显著地提高了检测精度和速度。 (3)在分析了具体场景特点的基础上,提出了针对故事片中出现的人物自动索引算法(Automatic People Indexing in Video, APIV)。APIV算法首先用人脸检测算法检测出视频出现的人物,再提取衣着颜色和声音两种特征构成特征向量,最后通过提出的新的无监督聚类算法实现了视频中出现的人物的自动聚类。APIV算法解决了传统方法中需要靠人工对视频中出现人物进行手工标注的问题,能够自动的对视频中出现的人物进行聚类。对于大量的视频进行实验,实验证明了APIV算法的有效性和实用性。APIV为现有场景内容分析方法提供了一种有效的补充。 (4)视频摘要是视频内容的压缩和摘要。在分析了现有视频摘要生成方法的不足的基础上,提出一种基于视觉感知内容的视频摘要生成方法(Key-frame Extraction using Visual Attention Model in Video, KEVAMV)。KEVAMV算法利用了视觉注意模型,提取了视觉注意度(Visual Attention Index, VAI)作为特征,并根据VAI的变化自动生成优化的视频摘要。KEVAMV方法相对传统方法而言,可以根据人的视觉特点,提取用户较为感兴趣的关键帧。 本文的研究是基于目前用户对视频内容分析的迫切应用需求和广泛的应用前景展开的。主要研究了视频内容提取与检索的关键技术,从而用户可以简单而有效地获取感兴趣的视频内容。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 魏小莉;杨黎东;种衍文;沈未名;;基于视频元数据信息的快速图像检索[J];计算机工程;2010年12期
2 贾超;侯卫芹;许玉坤;;一种新的关键帧提取方法[J];微计算机信息;2007年21期
3 曹建荣;蔡安妮;;基于相关反馈的视频检索算法[J];吉林大学学报(信息科学版);2006年02期
4 李岩峰;吴渝;徐世龙;;基于综合特征分析的视频关键帧检索[J];电视技术;2008年07期
5 赵毅;黄兰英;梅龙宝;;神经网络在视频检索中的应用[J];九江学院学报;2009年06期
6 曹建荣;蔡安妮;;基于支持向量机的视频关键帧语义提取[J];北京邮电大学学报;2006年02期
7 邹峰;杨强;;一种快速的台标识别算法[J];福建电脑;2007年07期
8 梁春迎;王国营;;基于运动统计和关键帧的视频检索方法[J];通信技术;2009年04期
9 吴倩;史萍;;视频摘要技术浅析[J];中国传媒大学学报(自然科学版);2008年02期
10 张春青,邹卫霞,梁志霞;基于分层聚类法的视频摘要技术[J];济南大学学报(自然科学版);2004年02期
11 王毅;李弼程;彭天强;;视频摘要技术[J];信息工程大学学报;2009年04期
12 周艺华;曹元大;李剑;张洪欣;;基于颜色与边缘分布的足球视频镜头分类方法[J];北京理工大学学报;2005年12期
13 李海玉;;论利用结构分析法进行视频检索[J];潍坊教育学院学报;2010年02期
14 胡唐明;数字图书馆中的一种多媒体检索——视频检索[J];现代情报;2005年04期
15 陈静;;基于代表帧的视频摘要方法在家庭视频中的应用[J];现代计算机;2006年06期
16 张若英,申铉京;基于内容的视频检索方法的研究[J];计算机工程与应用;2004年06期
17 张南平;程鸣;;基于模式识别视频搜索技术的研究[J];福建电脑;2007年08期
18 于东刚,王承训,徐守义,刘军,齐容刚,李亚伯;显像管灯丝二次绕线机视觉监控系统[J];大连理工大学学报;1992年05期
19 王瑞芳,程晓舫;一种新型的视觉系统——原理和概念设计[J];光学技术;2001年05期
20 彭泽华;;视频信息索引技术的新发展——视频摘要[J];电脑知识与技术(学术交流);2006年11期
中国重要会议论文全文数据库 前10条
1 郑海滨;代俊雅;乐小燕;;电影视觉特效制作技术的现状与发展趋势[A];全国数字媒体技术专业建设与人才培养研讨会论文集[C];2011年
2 韩世亮;;视觉影响力之于环保清洁产品的发展[A];第31届[2011]中国洗涤用品行业年会论文集[C];2011年
3 朱明清;赵宇宙;王智灵;陈宗海;;人类视觉智能启发的粒子滤波视觉目标跟踪算法[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
4 刘松;;电影视觉特效的前期——全新电影视觉特效的前期拍摄理念和技巧[A];2011中国电影电视技术学会影视技术文集[C];2011年
5 杨冰莹;;作为仿像的卡通与作为卡通的艺术[A];中央美术学院青年艺术批评奖获奖论文集(2011年)[C];2012年
6 崔玉路;蒋冬梅;张晓静;谢磊;付中华;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的听视觉情感识别[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
7 赵洋洋;徐常胜;梁超;;基于文本的自动视频摘要[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
8 姚娅川;;数据挖掘在视频语义结构化中的应用[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
9 刘中杰;曹云峰;王西超;;基于视觉的无人作战飞机着陆系统研究[A];2009年先进光学技术及其应用研讨会论文集(上册)[C];2009年
10 闫剑锋;李战怀;;一种基于运动轨迹的视频检索方法[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
中国博士学位论文全文数据库 前10条
1 蒋鹏;基于语义的视频内容提取与分析关键技术研究[D];南京航空航天大学;2009年
2 肖永良;基于内容的视频检索关键技术研究[D];中南大学;2010年
3 李晟;视觉假体装置模型建立及视觉信息处理研究[D];上海交通大学;2011年
4 刘海鹏;语言的视觉语义表征及其在场景自动描述系统中的应用研究[D];北京邮电大学;2011年
5 李向伟;压缩域视频检索与挖掘关键技术研究[D];兰州理工大学;2010年
6 刘桂清;视频摘要技术的研究与实现[D];国防科学技术大学;2004年
7 汤林勰;多媒体广告计算[D];中国科学技术大学;2011年
8 冀中;基于多模态信息的新闻视频内容分析技术研究[D];天津大学;2007年
9 赵志诚;故事视频的语义分析与提取[D];北京邮电大学;2008年
10 张莹莹;自然刺激下小鸡视网膜神经节细胞群体放电活动时空特性的研究[D];上海交通大学;2011年
中国硕士学位论文全文数据库 前10条
1 胡珺;面向倒装芯片拾取的视觉系统设计与开发[D];上海交通大学;2010年
2 王雷;基于多源传感器的视觉合成增强技术研究[D];合肥工业大学;2010年
3 程琳;目标识别中视觉稳定性特征提取方法的研究[D];青岛科技大学;2010年
4 高洁;性别视野下的目光政治[D];复旦大学;2010年
5 李华峰;当代“图像模拟”话语的结构与传达[D];吉林大学;2010年
6 向永嘉;行星无人探测车视觉系统算法的研究[D];湖南大学;2010年
7 卢文玉;基于视觉的车辆防撞预警研究[D];南京航空航天大学;2011年
8 苏力健;CI设计的“漫画风”[D];南京艺术学院;2010年
9 崔赫;基于视知觉图底关系的建筑外立面形式构成研究[D];浙江大学;2011年
10 程远;基于内容的电影视频检索和精彩视频剪辑系统研究[D];西安理工大学;2006年
中国重要报纸全文数据库 前10条
1 砺岩;视觉形象识别系统正式投入使用[N];中国工商报;2010年
2 范宏国 程仕栋;神州视觉展峥嵘[N];人民日报海外版;2010年
3 上海纺织有限公司高级工程师 陈邦伟;橱窗陈列的视觉营销[N];中国纺织报;2011年
4 孙慨;2008中国摄影:在起伏中蓄聚力量[N];中国摄影报;2009年
5 李国敏;欧特克软件为《特种部队》装备震撼视觉武器[N];科技日报;2009年
6 本报记者 许泳;视觉标签:贴上就跑不掉![N];计算机世界;2010年
7 特约作者 红人氽氽;3D动作网游 激战2010[N];电脑报;2010年
8 通讯员 李慧 记者 王夏斐;2010杭州生活品质视觉点评摄影大赛揭晓[N];杭州日报;2010年
9 本报记者 丁磊;中科院启动产业造星计划[N];21世纪经济报道;2011年
10 本报记者 李云华;电影:远离百姓的“视觉盛宴”[N];宁夏日报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978