收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

多模态媒体信息检索技术研究

逯波  
【摘要】:随着多媒体技术和互联网的快速发展,不同模态的多媒体数据随之急剧增长,同时用户对于多媒体数据的检索需求也变得更加多样化。对比传统的单一模态媒体数据的检索方式,通过对不同模态的媒体数据进行分析和处理,不仅能够更好地表达用户的检索意图,而且对于多模态媒体数据的语义理解也起到了重要作用。然而,由于在低层内容特征上的异构性和不可度量性,使得传统的多媒体检索方法不能适用于多模态媒体数据。因此,如何有效地管理和检索多模态媒体数据成为目前多媒体检索领域的研究热点。 根据多模态媒体数据间存在着紧密的语义关联这一特性,本文以多媒体数据的高层语义概念特征为出发点,结合机器学习、多模态信息融合与分析等技术,对多模态媒体信息检索进行了深入的研究。主要研究工作包括: (1)针对视频信息的语义概念检测,提出了一种基于极限学习机的多模态分类器合并方法。首先,分别使用三种不同的可视化特征来训练相对应的三个基于极限学习机的语义概念分类器,然后使用一种有效的基于概率的融合方法将语义概念分类器的预测结果进行合并。最后,通过分析语义概念之间的上下文来得到语义关联信息,并利用这些关联信息来修正合并后的预测结果。通过大量的实验表明提出的方法能够有效地提高语义概念检测的准确性。同时,基于极限学习机的分类器能以极快的速度进行学习和预测,大大提高了语义概念检测的性能。 (2)针对不确定的视频语义表达,提出了一种基于多信息融合的方法,其中包括推理和融合两个阶段。在推理阶段,充分利用语义概念之间的上下文关联信息和视频镜头之间的时间关联信息,选出对应于用户查询最相关的候选概念集。在融合阶段,通过计算候选概念的推断概率,使其与概念检测器的结果进行融合,以达到对视频镜头中的语义概念进行修正的目的。通过大量的实验表明,提出的方法能够有效解决视频镜头中不确定的语义表达问题,同时改善了语义视频检索的准确性。 (3)针对大规模的跨媒体检索,首先利用多模态媒体对象之间的语义关联来建模一个多模态语义关系图。其次将多模态语义关系图中的所有媒体对象映射到一个同构的语义空间中。最后,通过分析多模态媒体对象的分布特性,提出了一种有效的索引MK-tree,以此来管理语义空间中的媒体对象,同时改善跨媒体检索的性能。通过在大规模的真实跨媒体数据集上的实验表明,提出的方法能极大地改善跨媒体检索的有效性和准确性。 (4)针对社交图像检索,首先,通过利用社交网络中不同模态的信息来构建一个社交关系图。其次,当用户给定查询关键字,在构建的社交关系图上执行一种有效的查询关键字算法,同时基于相关分数得到候选结果。最后提出了一种对候选结果的修正策略,首先将社交关系图中的图像与返回的候选结果表达为区域连接图,再将这些区域连接图合并为闭包树,通过对比候选结果与闭包树之间的相似度以达到修正结果的目的。通过在真实数据集上的实验表明了提出方法的有效性和准确性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期
2 保罗·范登侯汶;杨颖;;多模态论辩话语重构:以美国广播公司一则新闻为例[J];国际新闻界;2013年04期
3 王学东;胡宋敏;谢辉;丁帅;曹高辉;;多模态网络主题资源聚合与实证研究[J];情报科学;2014年07期
4 胡壮麟;;谈多模态小品中的主体模态[J];符号与传媒;2011年01期
5 张薇;徐筱秋;;基于云教育平台的多模态输入优化模型建构[J];校园英语(教研版);2012年05期
6 郭志斌;;网络环境下的新闻听力多模态教学模式[J];新闻爱好者;2010年14期
7 ;《妈祖文化的多模态语篇研究》简介[J];莆田学院学报;2011年01期
8 王瑜;穆志纯;徐正光;;多模态生物特征识别技术进展综述[J];计算机应用与软件;2009年02期
9 胡阿旭;陈贵萍;于洪志;;多模态语音实验室在语言研究中的应用[J];西北民族大学学报(自然科学版);2012年01期
10 黄戎;肖超;;多模态策略在复杂控制过程中的应用(英文)[J];机床与液压;2012年24期
11 梁国杰;;网络传播话语中的多模态连贯叙事[J];新疆职业大学学报;2012年04期
12 胡斌;姚志军;王威;刘瑞越;梁传江;;生理计算与多模态分子影像的前沿科学问题和关键技术——第80期“双清论坛”综述[J];中国科学基金;2013年02期
13 唐增;孟明;孙曜;王新栋;;基于多模态信息的平衡能力评估方法[J];杭州电子科技大学学报;2013年06期
14 谭帅;王福利;彭俊;石怀涛;;多模态过程中新模态过程建模方法[J];控制与决策;2012年08期
15 刁海军;;多模态语境下教学模态的有效选择与运用[J];淮海工学院学报(人文社会科学版);2013年12期
16 陈洋;崔超;;从多模态视角看《商业周刊》杂志封面设计[J];剑南文学(经典教苑);2012年01期
17 李琳琳;朱丹;刘伟;;大学英语写作多模态教学模式实证研究[J];安徽电子信息职业技术学院学报;2014年03期
18 佟正灏;王荣福;;多模态影像技术在临床中的应用进展[J];CT理论与应用研究;2014年04期
19 ;第三届国际多模态接口会议征文通知(英文)[J];中国图象图形学报;2000年04期
20 李兵;谢里阳;魏玉兰;王磊;;基于时间优化的多模态输入整形法抑制柔性系统的振动[J];东北大学学报(自然科学版);2010年09期
中国重要会议论文全文数据库 前10条
1 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究(第十四辑)[C];2014年
2 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 赵贤;;多模态基底系统性质研究[A];2010年全国应用逻辑研讨会会议论文集[C];2010年
5 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年
6 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
7 康志峰;;口译中多模态的AA研究[A];第十四届全国科技翻译研讨会论文汇编[C];2011年
8 黄俊辉;李文政;李学军;;基于多模态医学影像数据的计算机辅助医疗设计与肿瘤精确治疗[A];中国肿瘤内科进展 中国肿瘤医师教育(2014)[C];2014年
9 孟祥亮;史元春;杨欣;;基于分层原语的多模态输入统一访问接口[A];第四届和谐人机环境联合学术会议论文集[C];2008年
10 郭华东;王为民;朱博勤;;多模态传感器辐射模态数据在SZ-4飞船模拟验证研究[A];全国国土资源与环境遥感技术应用交流会论文文集[C];2004年
中国博士学位论文全文数据库 前10条
1 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
2 潘鸣威;多模态视角下的口语交际能力:重构与探究[D];上海外国语大学;2011年
3 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年
4 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年
5 王洋;多模态图像检索技术[D];中国科学技术大学;2013年
6 张志坚;多模态生物特征识别融合算法的研究[D];中国科学技术大学;2008年
7 刘亚楠;多模态特征融合和变量选择的视频语义理解[D];浙江大学;2010年
8 叶剑华;三维及多模态人脸识别研究[D];天津大学;2008年
9 钱真;视频多模态信息处理的关键技术研究[D];哈尔滨工程大学;2012年
10 曾宪武;大跨度桥梁多模态耦合颤抖振及其控制研究[D];华南理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 刘春莹;多模态语篇分析[D];东北大学;2009年
2 周燕红;幽默广告的多模态语篇分析[D];北京交通大学;2012年
3 于萍;购物网站的多模态设计研究[D];中国海洋大学;2013年
4 周娜;语文课程中的多模态素养研究[D];浙江师范大学;2013年
5 邵爽;教科书多模态语篇分析研究[D];东北师范大学;2013年
6 张苗苗;多模态在大学英语教学中的应用调查[D];山西师范大学;2014年
7 裴晓娜;多模态奥巴马竞选海报语篇的社会符号学分析[D];曲阜师范大学;2010年
8 窦红双;话语的多模态性:理论与实践[D];黑龙江大学;2011年
9 龙艳琴;汉语房地产平面广告中多模态隐喻的意义建构[D];西南大学;2012年
10 袁艳艳;动态多模态话语的模态协同研究[D];中国海洋大学;2012年
中国重要报纸全文数据库 前3条
1 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
2 罗绵卫 王建成;中国航天科工高分专项实现零突破[N];中国航天报;2011年
3 记者 刘钊 通讯员 唐世浩 刘瑞霞;三维大气体可视技术取得初步突破[N];中国气象报;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978