收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

视音频信息融合算法研究

王晶  
【摘要】:近年来,随着计算机信息化进程的发展,越来越多的视频设备以及技术应用到人们的学习以及日常生活中。视频会议、视频搜索引擎技术以及视频数据查询等等技术的应用,在包括电影、电视、会议记录、科学文献等众多领域产生了大量的非文本数据。对于个人而言,个人摄影设备的普及,以及互联网技术的改进,让普通人发布个人拍摄视频变得极其简单,也因此产生了大量的视频数据。如何处理如此众多的多媒体信息,如何组织数据并对其建立索引进行检索,对现有的视频处理技术是个严峻考验。 早期的多媒体信息检索算法已经偏离了便宜操作的最初目的,未来检索算法的设计需要融合底层更多具有代表性的视觉、听觉、语义特征。视频信息的多模态性质为信息融合提供了基础。现有的分析融合技术大多针对单一模态,但是视频是具有多模态性质的特殊数据,并且在描述同一主题时,其包含的多种模态具有很大关联性。因此需要一种有效的方法对视频进行融合分析,用于更加准确地对视频进行分类和检索。本文在处理视频特征、融合视频特征过程中的主要工作如下: 1、针对目前处理视频数据的模型定义局限于新闻、广告等特定领域,并且处理过程中使用的处理技术过于单一、陈旧,本文采用研究分析证明的一系列相对高效的视频处理技术定义了一个相对完备的视频检索预处理模型。该模型利用视频底层特征的多模态性质,提取出视频的时间结构,然后对内容进行特征提取,从原始视频中构造出视频数据的子集。本文基于此过程提取出视频的关键帧,并从视频的音频流中提取出音频特征。为简化运算,对提取出的底层特征统一进行降维处理,本文采用的降维算法为Shuicheng Yan等人最新研究的——边际fisher分析降维算法,该方法优于目前通常采用的PCA、LDA等降维算法。根据得到的各种特征向量,利用鲁棒性较好的支持向量机SVM分类器分类处理。 2、在对基于多模态特征的分类结果进行融合时,提出了一种改进的MGR融合算法。依据特征向量经分类器处理后输出的样本序号矩阵,基于Melnik等设计的融合框架,为实现置信度和优先权的优化,设计了一个融合分数函数来改进MGR算法。改进后的算法比起MGR算法,降低了计算量,并且减少了参数数量,在识别率方面也有一定的改善。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张建明;李梅;李广翠;;基于Simfusion和本体的视频语义提取[J];计算机工程;2011年15期
2 王晨晖;管凤旭;宋新景;马也;;掌纹和三维手形的多模态图像采集装置设计[J];自动化技术与应用;2011年07期
3 周文娟;;基于Pervasive Computing技术的外语网络交互模态话语构想[J];现代教育技术;2011年06期
4 胡校成;张卫明;俞能海;;针对指纹模板的可逆信息隐藏编码方法[J];中国科学技术大学学报;2011年07期
5 张大明;符茂胜;罗斌;;基于广义积分平方误差谱选择的图像分割[J];模式识别与人工智能;2011年02期
6 许磊;熊志广;邵有为;;一种移动多Sink无线传感器网络监测系统[J];现代电子技术;2011年11期
7 高伟超;;浅谈电气自动化的发展[J];现代营销(学苑版);2011年07期
8 王斌;郭攀;张坤;黄乐;;基于计算机视觉技术的人脸检测系统设计[J];电子设计工程;2011年16期
9 徐玲;;论模仿讽刺作品对合理使用制度的考量[J];成都纺织高等专科学校学报;2011年03期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 王宁;;严重脑血管病人的多模态监测[A];第二届中西医结合脑病诊治新进展高级研讨班专家讲义及论文汇编[C];2010年
2 梁胜;张春富;李彪;;干细胞追踪用PET/SPECT/MRI/Fluo多模态探针设计探讨[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
3 向良忠;邢达;杨思华;;光声肿瘤分子成像[A];第七届全国光生物学学术会议论文摘要集[C];2010年
4 李丹;林超;吕中伟;;多模态磁性-荧光可降解纳米探针的研制及成像研究[A];中华医学会第九次全国核医学学术会议论文摘要汇编[C];2011年
5 王志刚;;模态超声造影剂研究进展[A];2010年超声医学和医学超声论坛会议论文集[C];2010年
6 梁坚;杨永臻;;一种多模态自适应模糊控制器[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
7 杨陈科;陶霖密;;情感信息实验平台的设计与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
8 黄本才;齐辉;陈勇;;体育场悬挑屋盖多模态和交叉项对风激动力响应的影响[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
9 党军;;双语词典的多模态化——用户·词典·编者[A];福建省外国语文学会2010年年会论文集[C];2010年
10 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国博士学位论文全文数据库 前10条
1 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
2 李洁;多模态脑电信号分析及脑机接口应用[D];上海交通大学;2009年
3 江旻珊;先进眼科多模态成像技术研究[D];上海交通大学;2011年
4 刘亚楠;多模态特征融合和变量选择的视频语义理解[D];浙江大学;2010年
5 钱真;视频多模态信息处理的关键技术研究[D];哈尔滨工程大学;2012年
6 龙锦益;脑信号分析的算法研究与多模态脑机接口[D];华南理工大学;2012年
7 刘洋;多模态MRI影像在矿难创伤后应激障碍研究中的应用[D];第四军医大学;2012年
8 时永刚;广义距离度量和多模态图像配准技术研究[D];中国科学院研究生院(电子学研究所);2004年
9 刘典婷;红外与可见光人脸图像的融合识别算法研究[D];大连理工大学;2009年
10 潘鸣威;多模态视角下的口语交际能力:重构与探究[D];上海外国语大学;2011年
中国硕士学位论文全文数据库 前10条
1 王璐瑶;隐喻视角下的广告多模态[D];南京大学;2011年
2 张向静;图像中的意义与媒体的意识形态:西藏3.14事件新闻图像的多模态语篇分析[D];天津商业大学;2011年
3 封晓瑞;多模态反射荧光实时共聚焦成像系统的研制[D];上海交通大学;2010年
4 王晶;视音频信息融合算法研究[D];太原理工大学;2011年
5 崔燕;平面公益广告互动意义的多模态话语分析[D];山东大学;2010年
6 闫兆法;基于多模态粒子群优化的社会网络分析研究[D];大连理工大学;2010年
7 张峰;脑肿瘤多模态医学图像可视化研究及系统实现[D];浙江大学;2004年
8 李翔;基于统计模型的多模态医学图像配准[D];浙江大学;2002年
9 张海哲;多模态医学图像配准方法的研究[D];河北工业大学;2004年
10 刘建武;基于PC的脑肿瘤多模态医学图像可视化系统的研究[D];浙江大学;2002年
中国重要报纸全文数据库 前10条
1 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
2 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
3 记者 刘正午;贺斌:站在读脑技术前沿[N];医药经济报;2010年
4 胡兆燕;重要的是本领[N];中国财经报;2004年
5 本报记者 罗朝淑;多模态神经成像:让大脑病灶无处可逃[N];科技日报;2010年
6 ;HVD:技术优势是制胜关键[N];中国电子报;2005年
7 ;塑料将用于制造新型显示器[N];计算机世界;2004年
8 本报记者 尹一捷;邓中翰:中国“无芯”历史的终结者[N];计算机世界;2010年
9 陈慕鸿;海信电器 数字电视获突破[N];证券日报;2004年
10 ;立足根本 服务用户[N];中国电脑教育报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978