收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于视听信息的视频语义分析与检索技术研究

闫乐林  
【摘要】:随着计算机技术、视频压缩技术和互联网技术的迅猛发展,人们可访问的信息资源空前丰富。视频资料因其具有直观性、信息综合性的特点,在数据库中的地位日渐增强,其数量增长更是惊人。但同时,由于视频结构的复杂性、数据内容的多样性以及时空多维性的特点,致使如何有效地组织视频数据、快速地检索和浏览用户需求的视频信息等成为视频领域内亟待解决的重大课题。在这种背景之下,基于内容的视频检索技术应运而生,它综合了图像处理、人工智能、模式识别及计算机视觉等领域的相关理论知识,并对视频特征和视频对象进行深入分析和研究,旨在获得蕴含在视频中的高层语义信息,建立可用的视频检索体系。因此,对视频语义的分析和检索技术的研究具有广阔的前景和现实意义。 本文以影视类视频、球拍类体育视频和新闻类视频为研究对象,融合了视频中的视觉、音频等多模态信息,对各种视频进行了有针对性的语义分析和检索方法研究。影视类视频语义分析从情感角度展开,分析了此类视频的视觉低层情感特征与音频的情感特征,基于未确知测度模型对影视类视频场景的情感类型进行了检测和识别。通过分析球拍类体育视频的视觉、音频特征,对视频中的感兴趣事件进行语义识别和检索研究。基于条件随机场模型,比较系统的研究了新闻类视频故事场景的检测和分割方法。主要工作如下: (1)通过分析影视类视频的低层视觉情感特征和音频情感特征,基于未确知测度理论,提出了一种视频情感内容识别的新算法。该方法先分析了影视类视频的场景亮度、镜头切变率、色调效能三个视觉类情感特征和多种音频情感特征,介绍了每种视频情感特征的数据提取方法,并分别构建了影视类视频场景的视觉情感特征向量和音频情感特征向量。其次,定义了视频情感识别的对象空间和指标空间,构造了各视听情感特征的未确知测度函数和未确知测度矩阵。最后,采用信息熵确定情感特征向量中各分量的权位,用置信度识别准则对视频场景的情感类型进行识别和判定。实验结果表明所捉算法是有效的、可行的。 (2)提出一种融合视觉、音频特征信息的球拍类体育视频精彩片段检索的算法。首先,基于支持向量机(Support Vector Machine, SVM)视频镜头分类与帧图像边缘特征的方法,将视频流中的镜头分为比赛镜头(Court View Shot)和非比赛镜头(Non-Court View Shot)两类;然后,分析了球拍类体育视频中声音和感兴趣事件之间的内在联系,构建了一个基于击球声和掌声的SVM分类器模型;最后,将镜头分类与声音事件分类进行融合,并建立了视频中精彩片段的提取规则,并对检索结果进行了排序处理。 (3)提出了一种基于条件随机场模型的新闻故事识别和检索方法。该方法首先对新闻视频的音频内容和结构特征进行分析,应用规则分类和隐马尔可夫模型(Hidden Markov Model, HMM)分类相结合的方法将新闻视频中的音频数据进行分层、细化处理,并按照语义将其分类为男主播语音、女主播语音、交替播报、现场声音、介分音乐和有效静音六种。接着,通过分析新闻视频中镜头的特点,将新闻类视频按照语义分为主播镜头、静态画面镜头、现场访录镜头、广告镜头和其它类镜头五种,辅以音频语义信息对视频中的镜头进行了识别和分类。在完成新闻类视频音频语义分类和镜头语义识别的基础之上,通过相应的关键词序列的转换,构建了新闻故事场景的条件随机场(Conditional Random Fields, CRFs)分割提取模型,对新闻类视频进行了较为成功的语义识别和检索。 (4)设计并初步实现了一个基于内容的视频语义识别和检索的实验平台,验证了上述所提算法的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张邦成,王占礼,杨晓红,王海波;蒸汽发生器燃烧自动控制系统的算法研究[J];中国仪器仪表;2004年11期
2 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期
3 杨春兰;郑链;李晓明;;互信息在医学图像配准中的应用研究[J];计算机应用与软件;2008年03期
4 蒋兴伟,林明森;微波多模态遥感器的性能评价[J];遥感技术与应用;2005年01期
5 吴了泥,黄一敏;基于Stateflow技术多模态飞行控制律仿真[J];杭州电子科技大学学报;2005年04期
6 王鹏,蔡锐,杨士强;“文本为主”的多模态特征融合的新闻视频分类算法[J];清华大学学报(自然科学版);2005年04期
7 胡旭晓;潘晓弘;;基于惩罚函数的多模态平稳过渡策略研究[J];浙江大学学报(工学版);2006年07期
8 范立南;王晶;王银玲;;多模态医学图像融合技术综述[J];沈阳大学学报;2009年03期
9 寒冰;李彬;;生物特征识别技术的应用与发展新趋势[J];中国安防;2010年08期
10 宋洁琳;;论多模态PPT演示在大学英语课堂中的应用[J];湖北第二师范学院学报;2010年11期
11 邓飞其,陈金堂,刘永清;多模态It随机系统的均方稳定性与鲁棒镇定[J];控制理论与应用;2000年04期
12 王政,谭建荣,刘振宇;面向虚拟样机运动分析的交互行为多Agent表达方法[J];中国机械工程;2005年05期
13 周超俊,蒋慰孙,藤井省三;非线性系统的多模态ARMAX模型──一种基于插值理论的模型[J];自动化学报;1995年02期
14 张德海,姜景山,郑震藩,王拴荣,刘和光,孙波,张升伟,许可;神舟4号主载荷——多模态微波遥感器[J];遥感技术与应用;2005年01期
15 王武;董海鹰;;复杂工业的多模态集成智能控制研究[J];计算机测量与控制;2005年11期
16 刘宇驰;栾悉道;戴端辉;吴玲达;;多模态体育视频语义分析[J];计算机科学;2007年01期
17 李希胜;李忠虎;;多模态智能控制在白内障手术中的应用研究[J];计算机测量与控制;2008年07期
18 邓铁永;张世文;李智勇;;改进粒子群算法在多模态函数优化中的应用[J];系统工程;2010年11期
19 邓燕子;;多模医学图像融合技术的原理、应用与最新进展[J];电脑知识与技术;2011年09期
20 郑恩让,陈玉钟,李英春,唐德翠;漂白过程温度智能控制[J];化工自动化及仪表;2002年04期
中国重要会议论文全文数据库 前10条
1 王宁;;严重脑血管病人的多模态监测[A];第二届中西医结合脑病诊治新进展高级研讨班专家讲义及论文汇编[C];2010年
2 梁胜;张春富;李彪;;干细胞追踪用PET/SPECT/MRI/Fluo多模态探针设计探讨[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
3 向良忠;邢达;杨思华;;光声肿瘤分子成像[A];第七届全国光生物学学术会议论文摘要集[C];2010年
4 李丹;林超;吕中伟;;多模态磁性-荧光可降解纳米探针的研制及成像研究[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
5 王志刚;;模态超声造影剂研究进展[A];2010年超声医学和医学超声论坛会议论文集[C];2010年
6 梁坚;杨永臻;;一种多模态自适应模糊控制器[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
7 杨陈科;陶霖密;;情感信息实验平台的设计与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
8 黄本才;齐辉;陈勇;;体育场悬挑屋盖多模态和交叉项对风激动力响应的影响[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
9 党军;;双语词典的多模态化——用户·词典·编者[A];福建省外国语文学会2010年年会论文集[C];2010年
10 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国博士学位论文全文数据库 前10条
1 闫乐林;基于视听信息的视频语义分析与检索技术研究[D];北京邮电大学;2012年
2 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
3 刘毅捷;视频社区中海量数据管理方法研究[D];中国科学技术大学;2011年
4 郭戈;数字视频语义信息提取与分析[D];解放军信息工程大学;2010年
5 张良;基于内容的视频情感语义分析关键技术研究[D];北京邮电大学;2012年
6 李洁;多模态脑电信号分析及脑机接口应用[D];上海交通大学;2009年
7 江旻珊;先进眼科多模态成像技术研究[D];上海交通大学;2011年
8 刘亚楠;多模态特征融合和变量选择的视频语义理解[D];浙江大学;2010年
9 韦世奎;基于信息融合的多媒体内容搜索[D];北京交通大学;2010年
10 钱真;视频多模态信息处理的关键技术研究[D];哈尔滨工程大学;2012年
中国硕士学位论文全文数据库 前10条
1 王璐瑶;隐喻视角下的广告多模态[D];南京大学;2011年
2 张向静;图像中的意义与媒体的意识形态:西藏3.14事件新闻图像的多模态语篇分析[D];天津商业大学;2011年
3 封晓瑞;多模态反射荧光实时共聚焦成像系统的研制[D];上海交通大学;2010年
4 崔燕;平面公益广告互动意义的多模态话语分析[D];山东大学;2010年
5 闫兆法;基于多模态粒子群优化的社会网络分析研究[D];大连理工大学;2010年
6 张峰;脑肿瘤多模态医学图像可视化研究及系统实现[D];浙江大学;2004年
7 李翔;基于统计模型的多模态医学图像配准[D];浙江大学;2002年
8 张海哲;多模态医学图像配准方法的研究[D];河北工业大学;2004年
9 王晶;视音频信息融合算法研究[D];太原理工大学;2011年
10 刘建武;基于PC的脑肿瘤多模态医学图像可视化系统的研究[D];浙江大学;2002年
中国重要报纸全文数据库 前10条
1 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
2 ;视频管理 领先一步[N];网络世界;2001年
3 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
4 见习记者 张力;半数网吧脱离视频管理平台监管[N];南充日报;2010年
5 记者 刘正午;贺斌:站在读脑技术前沿[N];医药经济报;2010年
6 本报记者 罗朝淑;多模态神经成像:让大脑病灶无处可逃[N];科技日报;2010年
7 母晓洁;索尼B2B战略看好中国[N];中国电子报;2003年
8 ;空间实验热点播报(之二)[N];中国航天报;2003年
9 傅小兰;人机交互中的情感计算[N];计算机世界;2004年
10 中科院自动化所 陶建华 谭铁牛;让计算机更善解人意[N];计算机世界;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978