收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

故事视频的语义分析与提取

赵志诚  
【摘要】: 科技的发展使得数字视频潮水般涌入人们的日常生活。视频内容的丰富性和多样性、以及特征数据特有的时空高维结构,使得如何有效地对海量视频进行表达、存储和管理,以便人们快速地浏览和检索,成为一个亟待解决的重大课题。传统的数据管理与检索技术已远不能适应这种急速的变化和需求,因此基于内容的视频检索(CBVR)应运而生,相关的研究迅速在各国展开。 目前,CBVR在多个方面取得了长足的进步,视频中语义信息的提取成为研究的热点,少数基于语义检索的原型系统也已出现。然而,由于语义对象的提取、语义的分析和理解等仍存在较大问题,大规模的应用还没实现。本文针对语义提取这个热点和难点从感知和认知的视角,结合电影理论和社会学等跨领域内容进行了较系统和循序渐进的研究,提出了一些新的框架和算法,主要内容如下: 在视觉内容的表达方面,针对颜色、纹理等静态特征只能表示图像的内部特性,不能刻画序列图像的时间关系的问题,提出了一个压缩域全局运动特征的估计方法,并描述了视频内容在时域上的变化以及上下文关系。首先通过简化一个六参数运动模型估计出全局运动参数;随后提出基于滑动窗的视频运动分割算法,完成视频的全局运动分割和关键词注释,并运用特征点序列对运动信息进行了描述;最后,为了验证所提取运动特征的有效性,提出一个基于全局运动的视频检索框架。试验结果表明,该算法能准确地对视频进行全局运动分割,视频的全局运动检索也能获得较高的准确率,还实现了基于Xquery的关键词查询。 镜头边界检测(SBD)是CBVR的基础,处于视频结构分析的底层,它的性能将直接影响其它视频分析的结果。为此提出了一个基于多层次特征描述和SVM的SBD算法。影响SBD性能的因素较多,本文将其总结为视觉内容的表达不够理想、序列图像的上下文联系不够紧密和分类器性能有待提高三方面,并提出了相应的解决办法:针对第一点,提出应该兼顾特征的敏感性和不变性,因此采用了从像素到全局的多层次特征描述方法;对第二点,运用一个变长滑动窗来建立特征矢量间的上下文联系;针对第三点,采用SVM分类器,通过主动学习和交叉验证分别来选择正负样本的比例和训练参数。此外,还提出边缘、运动等独立的检测子来对SVM分类结果中的误检加以修正。从TRECVID 2007的测评来看,我们的算法在15个参赛组中取得了较为满意的结果。 在语义对象的提取方面,提出了一个基于视觉注意模型的语义对象的选择性提取算法。基于对象的语义提取是视频分析中的一个难点,对象的有效提取能够明显提高语义概念检测的准确性。对象的提取面临颜色的量化、图像的分割、语义对象的确定等诸多困难。针对这些问题,本文首先提出一个颜色的矢量量化算法完成彩色图像的量化;其次综合考虑图像的颜色和空间分布特性,提出一种基于图模型和区域组合的方法来分割图像;随后建立一个视觉注意模型来确定图像的视觉注意中心和转移顺序;接着在Gestalt准则下融合颜色、纹理以及边界特征来描述图像的同质特性;最后根据注意中心的转移顺序来提取图像的多个视觉显著对象。实验表明,在Corel图像库和TREC等视频上提取的显著对象获得了较高的主观评价。 在视频摘要方面,提出了一个基于电影结构模型和感知线索的分层视频摘要产生框架,以及一套完整的模型算法。现有的视频摘要算法主要针对新闻、体育等非故事性结构而且时长较短的视频类型,不适用于全长度的电影。为此,首先提出一个故事结构模型—NP模型,将电影分解成幕、情节和场景三个层次,同时给出了场景的分割与分类算法;随后,构造一个基于情感刺激量的场景“重要性”函数来计算每个场景、情节、幕的重要性,以此来分配提取的关键帧和缩略的数目和长度;此外建立一个注意力模型来将重要的电影元素量化并融合成一条注意力曲线;最后将电影结构模型、情感模型和注意力模型有机地融合起来,提出了一个多层次的视频摘要框架,分别产生静态关键帧和动态视频缩略。七部好莱坞影片验证了框架的有效性和通用性,实验结果在信息量和愉悦度上都优于代表性的Ma提出的算法。 在视频语义的提取方面,提出了一个基于社会网络分析(SNA)和电影本体(Ontology)的影片内容理解框架和一套语义提取算法。目前语义的研究主要集中在新闻、体育、医学等场景较为简单的视频类型,电影的自动理解则缺乏系统的研究。电影远比新闻等复杂,传统的语义分析方法难以缩小影片的语义鸿沟。本文从一个全新的视角提出通过SNA和建立电影本体来分析影片的故事内容。将电影看成一个特殊的社会网络,利用SNA来确定角色的社区结构和角色间的关系,并结合电影结构模型分析出故事的发展线索;其次,构造了一个电影本体,根据本体建立起角色的身份、职业以及政府各机构之间的联系;第三,提出一个分层的基于时间线索的高层动作事件检测方法,以及一个基于语义图的对话事件的摘要算法完成影片的语义分析。两部好莱坞电影验证了提出框架的可行性,其结果基本上满足语义视频检索的需求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 曹建荣;蔡安妮;;基于支持向量机的视频关键帧语义提取[J];北京邮电大学学报;2006年02期
2 王毅;李弼程;;一种基于K-L变换和聚类的视频摘要方法[J];计算机应用研究;2010年09期
3 张景辉;田树华;刘树明;;多媒体教学中基于内容的视频检索[J];华北煤炭医学院学报;2006年05期
4 魏小莉;杨黎东;种衍文;沈未名;;基于视频元数据信息的快速图像检索[J];计算机工程;2010年12期
5 张婵,高新波,姬红兵;视频关键帧提取的可能性C-模式聚类算法[J];计算机辅助设计与图形学学报;2005年09期
6 黄伟;数字资产管理系统中的视频摘要技术[J];广播电视信息;2002年07期
7 周艺华;曹元大;李剑;张洪欣;;基于颜色与边缘分布的足球视频镜头分类方法[J];北京理工大学学报;2005年12期
8 王保雄,余松煜;视频检索中的镜头边界检测[J];红外与激光工程;2000年05期
9 唐波,汤晓安,孙茂印;视频检索与数据库机制的适应性分析[J];计算机工程与应用;2005年26期
10 刘佳兵;;基于窗口最大值和自适应阈值的视频镜头分割算法[J];福建电脑;2007年08期
11 刘佳兵;;视频检索中的关键帧提取技术[J];福建电脑;2007年12期
12 薛立勤;张秀娟;;基于运动分析的视频检索方法[J];计算机工程与应用;2008年25期
13 李海玉;;论利用结构分析法进行视频检索[J];潍坊教育学院学报;2010年02期
14 初广丽;杨晓东;;关于视频分割技术的几个问题的探讨[J];白城师范学院学报;2010年03期
15 胡涛,何静,张志刚;一种检测足球视频中射门镜头的方法[J];电视技术;2005年04期
16 李治强;杨强;;基于时空分布特征的新闻字幕检测改进算法[J];广播与电视技术;2007年02期
17 刘佳兵;;视频检索中的视频镜头分割技术[J];福建电脑;2007年01期
18 薛荣;;基于场景视图的视频检索研究[J];甘肃联合大学学报(自然科学版);2008年06期
19 黄雨生;;视频数据库中的内容检索技术[J];电脑开发与应用;2008年12期
20 张晓燕,赵荣椿,聂?;基于内容视频分析的发展研究[J];计算机应用研究;2005年04期
中国重要会议论文全文数据库 前10条
1 张静;柳红;;南瓜多糖的提取纯化、结构及其生物活性的研究[A];药用植物化学与中药有效成分分析研讨会论文集(上)[C];2008年
2 范慧红;宋玉娟;李京;任丽萍;;多糖类药物质量分析进展[A];2009年中国药学大会暨第九届中国药师周论文集[C];2009年
3 方世乐;王萍;代希华;郭范围;;伶仃东航道桥方案设计与构思[A];中国土木工程学会桥梁及结构工程学会第十三届年会论文集(上册)[C];1998年
4 冯振宇;;高架公路的结构及其最不利荷载位置分析[A];第八届全国结构工程学术会议论文集(第Ⅰ卷)[C];1999年
5 王永平;;SK5(3/4″)×94 mm绳索取心钻具结构分析[A];第十三届全国探矿工程(岩土钻掘工程)学术研讨会论文专辑[C];2005年
6 李雪梅;陈旭;;青少年社会自我效能感问卷的初步初步编制[A];第十届全国心理学学术大会论文摘要集[C];2005年
7 张延伟;孙吉兴;;某片式塑封电感器的结构分析[A];第十一届全国可靠性物理学术讨论会论文集[C];2005年
8 肖洁瑾;卢定强;徐蓓;陆晓云;;甘草多糖的研究进展[A];第三届全国化学工程与生物化工年会论文摘要集(下)[C];2006年
9 张敏;;教师适应性绩效的结构分析[A];第十一届全国心理学学术会议论文摘要集[C];2007年
10 朱海军;张桂平;蔡东风;王炜华;;科技论文的标题识别[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵志诚;故事视频的语义分析与提取[D];北京邮电大学;2008年
2 刘桂清;视频摘要技术的研究与实现[D];国防科学技术大学;2004年
3 李向伟;压缩域视频检索与挖掘关键技术研究[D];兰州理工大学;2010年
4 雷少帅;基于内容的视频检索关键技术研究[D];太原理工大学;2012年
5 曹建荣;基于内容的风光记录片检索技术研究[D];北京邮电大学;2007年
6 蒋鹏;基于语义的视频内容提取与分析关键技术研究[D];南京航空航天大学;2009年
7 曹政;电视节目自动分割与相似视频检索[D];中国科学技术大学;2010年
8 肖永良;基于内容的视频检索关键技术研究[D];中南大学;2010年
9 高赞;基于内容的视频分析关键技术[D];北京邮电大学;2011年
10 钱学明;基于语义的视频浏览系统中的关键技术研究[D];西安交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 王韬;基于内容的新闻视频检索系统的相关技术研究[D];南京理工大学;2004年
2 程远;基于内容的电影视频检索和精彩视频剪辑系统研究[D];西安理工大学;2006年
3 李德山;基于语义的视频检索[D];中国石油大学;2009年
4 师鸣若;基于内容的视频检索系统研究[D];西安理工大学;2003年
5 罗凤玲;视频检索中的特征提取方法研究[D];中国人民解放军国防科学技术大学;2002年
6 潘晓英;基于计算智能的视频检索[D];西安电子科技大学;2005年
7 苗盼盼;基于内容的视频检索若干技术研究[D];南京理工大学;2010年
8 纪丽婷;基于内容的视频检索方法的研究[D];中北大学;2010年
9 何静;基于内容的足球视频检索与自动编辑系统研究[D];西安理工大学;2005年
10 王秉举;基于MPEG-7、MPEG-4标准的视频检索研究和数字视频监控系统软件研发[D];华东师范大学;2004年
中国重要报纸全文数据库 前10条
1 朱春阳;国外报业收入的类型与结构分析[N];中华新闻报;2003年
2 董苏华;国际结构分析专家的经典力作[N];中国建设报;2006年
3 许京生;从结构分析看市场前景[N];中国旅游报;2004年
4 张书臻;我国利用外资的结构分析及战略取向[N];广西日报;2000年
5 王兆先;继续看空[N];期货日报;2003年
6 首创期货 刘小英;从郑糖持仓结构分析未来糖价走势[N];期货日报;2009年
7 本报记者 宋菁;6月跌幅收窄 广东外贸的结构分析[N];21世纪经济报道;2009年
8 鑫牛证券网 李云霞;会计报表结构分析[N];金融时报;2000年
9 骆郁廷;精神动力的结构分析[N];光明日报;2004年
10 王义才;我市工业结构进一步优化[N];黄石日报;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978