收藏本站
《解放军信息工程大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

数字视频语义信息提取与分析

郭戈  
【摘要】:信息处理技术以及相伴而生的多媒体技术的发展促使视频数据以几何级数增长,面对如此海量的视频数据,对其进行有效地管理、组织和检索已经成为亟待解决的问题。目前已有的视频内容分析技术由于过于专注低层特征等视频中客观存在内容的提取和分析,对于更加宽泛的视频处理需求显得力不从心,因此对于高层语义信息处理和分析技术的研究显得尤为迫切。 本文侧重对视频语义内容分析的通用方法进行研究,将视频的语义空间进行层次化的抽象,从视觉、听觉和文本三个模态空间对视频语义内容进行提取,综合利用提取的特定内容线索,实现对视频信息拟人类思维机制的语义描述,进而完成视频信息的分类和检索。本文的工作和创新点主要包括以下几个方面: 1.通用视频内容分析技术研究:以多种类型的视频数据为研究对象,根据人类认知和视频数据本身的特性,提出具有一定通用性的视频内容分析模型。该模型包括两个子模型:一是基于语言值的视频内容表征子模型,为后续的视频语义内容分析奠定理论基础;另一是基于模式识别的语义空间关联子模型,为低层特征空间向高层语义空间的映射提供有效的关联方法,以获取内容表征子模型参数。 2.视频多模态融合技术的研究:针对视频语义内容的多模态、多粒度特性,提出语义选择的多模态融合算法。对视觉、听觉和文本单个模态分别在不同的粒度空间上提取语义概念,利用语义概念之间的相关性去除误检语义概念,从而减少扩散误差。考虑到语义的时序特性,针对不同模态的语义概念分别定义重要性度量参数,并用于高级融合。实验结果表明,所提出的方法能够准确提取视频的高级语义信息,与其它融合算法相比性能更为良好。 3.视觉语义提取和分析算法研究:根据注意力机制利用时空显著区域对视觉感知内容建立有效表征,针对视觉语义种类繁多和训练样本不足的情况,提出基于粗糙集和聚类的支持向量机集成算法对时空显著区域识别,该算法能有效提高传统支持向量机的泛化性能,实现了对视觉感知语义的准确提取。研究视觉信息与视频情感表达之间的联系,根据静态特征和动态特征的分析,实现视频场景的情感语义提取,视觉情感语义与音频情感语义的结合,能够对视频场景的情感内容进行更为准确的描述和刻画。 4.视频字幕文本检测、定位和提取算法的研究:提出时空相关性的字幕文本检测与定位算法,利用视频文本在时间上的冗余性来提高检测速度和精度。采用监视—跟踪模型及扩展的QSDD(EQSDD)度量,实现对同一文本起始帧和终止帧的检测,降低误检率并提高处理速度。提出基于背景复杂度的自适应阈值选取方法对文本区域分割,根据笔画宽度对字符像素进行标记,滤除背景粘连的像素,得到二值化的文字区域,该方法在保留文字像素的同时很好地抑制了非文字像素,为后续OCR以及语义提取奠定了良好的基础。 5.音频语义提取和分析算法研究:对音频流分别从感知空间和情感空间进行语义分析,以高斯混合模型作为低层音频特征到高层语义的关联模型,进行音频感知语义提取。根据音频感知语义蕴含情感的不同,进行显性感知语义、中性感知语义和隐性感知语义预分类。对显性感知语义和隐性感知语义,提出基于情感单元的情感内容分析方法,该方法对不同的情感单元分别提取更能体现情感的物理特征,采用GMM-SVM模型进行分类,实现对音频情感语义的提取,由于采用显著的情感特征和有效的分类方法,能更准确的提取和分析音频中的情感内容。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 田稷;图书馆多粒度个性化信息服务[J];情报杂志;2003年07期
2 田永鸿,黄铁军,高文;基于多粒度树模型的Web站点描述及挖掘算法[J];软件学报;2004年09期
3 徐云斌,宋鸿升,张杰,顾畹仪;用于多粒度光交换节点的GMPLS信令机制扩展[J];北京邮电大学学报;2004年03期
4 王利,郭巧,李文正,吴才聪;利用XML实现SNMP配置管理的多粒度访问[J];北京理工大学学报;2004年09期
5 杜栓柱,谭建荣,陆国栋;工作流模型中多粒度时间约束描述及其分析[J];软件学报;2003年11期
6 许相莉;张利彪;于哲舟;周春光;;多粒度颜色特征在图像检索中的应用(英文)[J];应用科学学报;2009年01期
7 李爱军,赵国军,章卫国;基于神经网络的多模态故障检测[J];飞机设计;2003年02期
8 张邦成,王占礼,杨晓红,王海波;蒸汽发生器燃烧自动控制系统的算法研究[J];中国仪器仪表;2004年11期
9 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期
10 杨春兰;郑链;李晓明;;互信息在医学图像配准中的应用研究[J];计算机应用与软件;2008年03期
11 蒋兴伟,林明森;微波多模态遥感器的性能评价[J];遥感技术与应用;2005年01期
12 吴了泥,黄一敏;基于Stateflow技术多模态飞行控制律仿真[J];杭州电子科技大学学报;2005年04期
13 祁永敏;金耀辉;胡卫生;;三阶多粒度光交叉连接的优化设计研究(英文)[J];光子学报;2007年01期
14 潘艳;;试析高校图书采访多粒度互动平台的构建[J];长春师范学院学报(人文社会科学版);2008年10期
15 ;MXM视频管理系统大显身手[J];计算机与网络;2002年05期
16 王鹏,蔡锐,杨士强;“文本为主”的多模态特征融合的新闻视频分类算法[J];清华大学学报(自然科学版);2005年04期
17 胡旭晓;潘晓弘;;基于惩罚函数的多模态平稳过渡策略研究[J];浙江大学学报(工学版);2006年07期
18 范立南;王晶;王银玲;;多模态医学图像融合技术综述[J];沈阳大学学报;2009年03期
19 寒冰;李彬;;生物特征识别技术的应用与发展新趋势[J];中国安防;2010年08期
20 郑衍松;佟冬;王克义;程旭;;MDCI:基于多粒度动态控制流不变式的硬件故障局部化[J];电子学报;2010年11期
中国重要会议论文全文数据库 前10条
1 王宁;;严重脑血管病人的多模态监测[A];第二届中西医结合脑病诊治新进展高级研讨班专家讲义及论文汇编[C];2010年
2 孙明;;视觉信息学的基本概念及其新技术在农业中的应用[A];中国农业工程学会2011年学术年会论文集[C];2011年
3 梁胜;张春富;李彪;;干细胞追踪用PET/SPECT/MRI/Fluo多模态探针设计探讨[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
4 闫东斌;邵子瑜;李正斌;吴德明;徐安士;;多粒度交换光网中波带交换算法及其性能分析[A];全国第十一次光纤通信暨第十二届集成光学学术会议(OFCIO’2003)论文集[C];2003年
5 向良忠;邢达;杨思华;;光声肿瘤分子成像[A];第七届全国光生物学学术会议论文摘要集[C];2010年
6 李丹;林超;吕中伟;;多模态磁性-荧光可降解纳米探针的研制及成像研究[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
7 王志刚;;模态超声造影剂研究进展[A];2010年超声医学和医学超声论坛会议论文集[C];2010年
8 梁坚;杨永臻;;一种多模态自适应模糊控制器[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
9 刘力;龚海韵;;果蝇蘑菇体对视觉信息的归纳作用[A];首届中国神经信息学讨论会摘要[C];2000年
10 王晓晖;魏洪兴;;机器人无线网络及视觉信息混合定位研究[A];2007年足球机器人大会论文集[C];2007年
中国重要报纸全文数据库 前10条
1 ;视频管理 领先一步[N];网络世界;2001年
2 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
3 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
4 任征;善用视觉信息 突出展会形象[N];中国贸易报;2004年
5 见习记者 张力;半数网吧脱离视频管理平台监管[N];南充日报;2010年
6 刘鹏;视觉转听觉新技术:用声音“看”世界[N];新华每日电讯;2008年
7 中国科学技术馆 李春才;转筒—为什么会有晕眩的感觉[N];大众科技报;2004年
8 狄立赫列;QQ的病根:天灾还是人祸[N];电脑报;2004年
9 本报记者  李大庆;土生土长的博士也可做出一流成果[N];科技日报;2006年
10 记者 刘正午;贺斌:站在读脑技术前沿[N];医药经济报;2010年
中国博士学位论文全文数据库 前10条
1 郭戈;数字视频语义信息提取与分析[D];解放军信息工程大学;2010年
2 闫乐林;基于视听信息的视频语义分析与检索技术研究[D];北京邮电大学;2012年
3 刘毅捷;视频社区中海量数据管理方法研究[D];中国科学技术大学;2011年
4 张良;基于内容的视频情感语义分析关键技术研究[D];北京邮电大学;2012年
5 丁轶群;基于概率生成模型的文本主题建模及其应用[D];浙江大学;2010年
6 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
7 符茂胜;局部保持的流形学习理论及其在视觉信息分析中的应用[D];安徽大学;2010年
8 韦世奎;基于信息融合的多媒体内容搜索[D];北京交通大学;2010年
9 李洁;多模态脑电信号分析及脑机接口应用[D];上海交通大学;2009年
10 江旻珊;先进眼科多模态成像技术研究[D];上海交通大学;2011年
中国硕士学位论文全文数据库 前10条
1 王璐瑶;隐喻视角下的广告多模态[D];南京大学;2011年
2 张向静;图像中的意义与媒体的意识形态:西藏3.14事件新闻图像的多模态语篇分析[D];天津商业大学;2011年
3 封晓瑞;多模态反射荧光实时共聚焦成像系统的研制[D];上海交通大学;2010年
4 崔燕;平面公益广告互动意义的多模态话语分析[D];山东大学;2010年
5 闫兆法;基于多模态粒子群优化的社会网络分析研究[D];大连理工大学;2010年
6 张峰;脑肿瘤多模态医学图像可视化研究及系统实现[D];浙江大学;2004年
7 李翔;基于统计模型的多模态医学图像配准[D];浙江大学;2002年
8 张海哲;多模态医学图像配准方法的研究[D];河北工业大学;2004年
9 王晶;视音频信息融合算法研究[D];太原理工大学;2011年
10 王刚;视频混合编辑技术在击剑训练视频处理分析中的研究与应用[D];中国海洋大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978