收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

多模态特征融合和变量选择的视频语义理解

刘亚楠  
【摘要】: 随着计算机技术及互联网应用的迅速发展,多媒体数据特别是视频数据呈海量趋势增长,如何有效存储、管理、传输、检索和使用这些多媒体数据,是摆在人们面前巨大的挑战和亟待解决的研究问题。视频数据蕴含了丰富的语义,同时视频又是时序数据,视频中存在图像、音频和文本三种媒质数据,并呈现时序关联共生特性。本文针对视频数据中多种模态之间的时序关联特性,通过特征融合和变量选择来进行视频语义分析与理解。 在视频语义信息理解和挖掘中,充分利用图像、音频和文本等多模态媒质之间的交互关联是非常重要的研究方向。考虑到视频的多模态和时序关联共生特性,提出了一种基于多模态子空间相关性传递的语义概念检测方法来挖掘视频的语义信息。该方法对所提取视频镜头的多模态底层特征,根据共生数据嵌入和相似度融合进行多模态子空间相关性传递而得到镜头之间的相似度关系,接着通过局部不变投影对原始数据进行降维以获得低维语义空间内的坐标,再利用标注信息训练分类模型,从而可对训练集外的测试数据进行语义概念检测,实现视频语义信息挖掘。实验表明这一方法有较高的准确率。 传统视频表达所采用的向量模型除了会产生高维向量而导致“维度灾难”问题外,同时在降维过程中,由于特征向量过高的维度及训练样本的数据不足,将不同类型特征进行拼合会引起“过压缩”问题,以致丢失大量信息。另外,不同类型特征通过简单向量拼接也在一定程度上减弱或忽略了视频中这些多种模态特征之间的时序关联共生性。为了解决这一问题,提出了一种基于高阶张量表示的视频语义分析与理解框架。在这个框架中,视频镜头首先被表示成由视频中所包含的文本、视觉和听觉等多模态数据构成的3阶张量;其次,基于此3阶张量表达及视频的时序关联共生特性设计了一种子空间嵌入降维方法,称为“张量镜头”;由于半监督学习从已知样本出发能对特定的未知样本进行学习和识别,最后在这个框架中提出了基于“张量镜头”的直推式支持张量机算法以及两种基于主动学习的后精化处理策略,其不仅保持了张量镜头所在的流形空间的本征结构,而且能将训练集合外数据直接映射到流形子空间,同时充分利用未标记样本改善分类器的学习性能。实验结果表明本方法能有效地进行视频镜头的语义概念检测。 为了更加有效利用标记样本,基于压缩感知和稀疏表示理论,结合稀疏表达、非负矩阵分解和监督学习,提出了基于(非负)组稀疏表示的分类方法对图像和视频进行分类思路。其基本思想是将测试样本表示为训练样本的加权线性组合:即在非负l1正则化因子约束下,对每个训练样本求取一个回归系数,同时每一类别也求取加权系数,使得在训练过程中能基于稀疏系数对类别中所有样本同时选择或放弃。另外,非“负”回归加权系数使得视频和图像理解过程更加具有可解释性(interpretable)。基于(非负)组稀疏表示的分类方法优势在于能有效利用类别信息对视频和图像进行变量选择,不仅提高了语义分类精度,而且使得这一过程更具可解释性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李爱军,赵国军,章卫国;基于神经网络的多模态故障检测[J];飞机设计;2003年02期
2 张邦成,王占礼,杨晓红,王海波;蒸汽发生器燃烧自动控制系统的算法研究[J];中国仪器仪表;2004年11期
3 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期
4 杨春兰;郑链;李晓明;;互信息在医学图像配准中的应用研究[J];计算机应用与软件;2008年03期
5 蒋兴伟,林明森;微波多模态遥感器的性能评价[J];遥感技术与应用;2005年01期
6 吴了泥,黄一敏;基于Stateflow技术多模态飞行控制律仿真[J];杭州电子科技大学学报;2005年04期
7 王鹏,蔡锐,杨士强;“文本为主”的多模态特征融合的新闻视频分类算法[J];清华大学学报(自然科学版);2005年04期
8 胡旭晓;潘晓弘;;基于惩罚函数的多模态平稳过渡策略研究[J];浙江大学学报(工学版);2006年07期
9 范立南;王晶;王银玲;;多模态医学图像融合技术综述[J];沈阳大学学报;2009年03期
10 寒冰;李彬;;生物特征识别技术的应用与发展新趋势[J];中国安防;2010年08期
11 宋洁琳;;论多模态PPT演示在大学英语课堂中的应用[J];湖北第二师范学院学报;2010年11期
12 邓飞其,陈金堂,刘永清;多模态It随机系统的均方稳定性与鲁棒镇定[J];控制理论与应用;2000年04期
13 王政,谭建荣,刘振宇;面向虚拟样机运动分析的交互行为多Agent表达方法[J];中国机械工程;2005年05期
14 周超俊,蒋慰孙,藤井省三;非线性系统的多模态ARMAX模型──一种基于插值理论的模型[J];自动化学报;1995年02期
15 张德海,姜景山,郑震藩,王拴荣,刘和光,孙波,张升伟,许可;神舟4号主载荷——多模态微波遥感器[J];遥感技术与应用;2005年01期
16 王武;董海鹰;;复杂工业的多模态集成智能控制研究[J];计算机测量与控制;2005年11期
17 刘宇驰;栾悉道;戴端辉;吴玲达;;多模态体育视频语义分析[J];计算机科学;2007年01期
18 李希胜;李忠虎;;多模态智能控制在白内障手术中的应用研究[J];计算机测量与控制;2008年07期
19 邓铁永;张世文;李智勇;;改进粒子群算法在多模态函数优化中的应用[J];系统工程;2010年11期
20 邓燕子;;多模医学图像融合技术的原理、应用与最新进展[J];电脑知识与技术;2011年09期
中国重要会议论文全文数据库 前10条
1 王宁;;严重脑血管病人的多模态监测[A];第二届中西医结合脑病诊治新进展高级研讨班专家讲义及论文汇编[C];2010年
2 梁胜;张春富;李彪;;干细胞追踪用PET/SPECT/MRI/Fluo多模态探针设计探讨[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
3 向良忠;邢达;杨思华;;光声肿瘤分子成像[A];第七届全国光生物学学术会议论文摘要集[C];2010年
4 李丹;林超;吕中伟;;多模态磁性-荧光可降解纳米探针的研制及成像研究[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
5 王志刚;;模态超声造影剂研究进展[A];2010年超声医学和医学超声论坛会议论文集[C];2010年
6 梁坚;杨永臻;;一种多模态自适应模糊控制器[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
7 黄本才;齐辉;陈勇;;体育场悬挑屋盖多模态和交叉项对风激动力响应的影响[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
8 杨陈科;陶霖密;;情感信息实验平台的设计与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
9 党军;;双语词典的多模态化——用户·词典·编者[A];福建省外国语文学会2010年年会论文集[C];2010年
10 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国博士学位论文全文数据库 前10条
1 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
2 龙丹;基于多模态磁共振信息的早期帕金森病影像标记及计算机辅助诊断研究[D];浙江大学;2012年
3 李洁;多模态脑电信号分析及脑机接口应用[D];上海交通大学;2009年
4 江旻珊;先进眼科多模态成像技术研究[D];上海交通大学;2011年
5 刘亚楠;多模态特征融合和变量选择的视频语义理解[D];浙江大学;2010年
6 钱真;视频多模态信息处理的关键技术研究[D];哈尔滨工程大学;2012年
7 龙锦益;脑信号分析的算法研究与多模态脑机接口[D];华南理工大学;2012年
8 刘洋;多模态MRI影像在矿难创伤后应激障碍研究中的应用[D];第四军医大学;2012年
9 李翔;超声导波频散与多模态问题及其形态解卷积方法研究[D];电子科技大学;2013年
10 王大伟;KIBRA基因多态性与默认网络、执行控制网络相关性的多模态MRI研究[D];天津医科大学;2013年
中国硕士学位论文全文数据库 前10条
1 王璐瑶;隐喻视角下的广告多模态[D];南京大学;2011年
2 张向静;图像中的意义与媒体的意识形态:西藏3.14事件新闻图像的多模态语篇分析[D];天津商业大学;2011年
3 封晓瑞;多模态反射荧光实时共聚焦成像系统的研制[D];上海交通大学;2010年
4 崔燕;平面公益广告互动意义的多模态话语分析[D];山东大学;2010年
5 闫兆法;基于多模态粒子群优化的社会网络分析研究[D];大连理工大学;2010年
6 张峰;脑肿瘤多模态医学图像可视化研究及系统实现[D];浙江大学;2004年
7 李翔;基于统计模型的多模态医学图像配准[D];浙江大学;2002年
8 张海哲;多模态医学图像配准方法的研究[D];河北工业大学;2004年
9 王晶;视音频信息融合算法研究[D];太原理工大学;2011年
10 刘建武;基于PC的脑肿瘤多模态医学图像可视化系统的研究[D];浙江大学;2002年
中国重要报纸全文数据库 前10条
1 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
2 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
3 记者 刘正午;贺斌:站在读脑技术前沿[N];医药经济报;2010年
4 本报记者 罗朝淑;多模态神经成像:让大脑病灶无处可逃[N];科技日报;2010年
5 ;空间实验热点播报(之二)[N];中国航天报;2003年
6 傅小兰;人机交互中的情感计算[N];计算机世界;2004年
7 中科院自动化所 陶建华 谭铁牛;让计算机更善解人意[N];计算机世界;2005年
8 记者 顾德伟;F/A—18“大黄蜂” 多用途战斗攻击机[N];新华每日电讯;2003年
9 本报记者 武汉 摄影记者 刘小戎;架一座业界的桥[N];网络世界;2002年
10 李洁尉 覃善萍;围歼“头号杀手”行动启动[N];广东科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978