收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于语义先验约束的多媒体特征表示研究

年福东  
【摘要】:多媒体计算技术是实现具有类人多模态感知能力的机器人等高级人工智能终极目标的基石,其具有非常重要的学术意义和实际应用价值。解决多媒体计算问题的关键是对不同模态的数据构建强大的特征表示模型,即多媒体特征表示。传统的基于人工设计的特征表示模型对数据的中层结构和高层语义信息的表示能力有限,无法突破“语义鸿沟”。近年来兴起的深度学习模型借鉴了人类神经系统的一些特性,利用了机器学习技术,具有强大的非线性拟合能力,是最有希望解决多媒体数据特征表示问题的研究方向。然而目前绝大多数深度特征表示模型过于依赖大数据本身进行完全数据驱动的模型自动学习,忽略了人类通过数万年演化及生存经验所获得的对客观事物的规律进行总结的知识,很少有研究涉及到如何把人类的知识作为一种语义先验对深度特征表示模型的学习训练过程进行指导。本文主要探讨了多媒体计算任务中基于语义先验约束的图像、文本、视频等模态数据的深度特征表示研究,充分借鉴了人工智能领域前沿的一些研究成果,对通过语义先验约束提升多媒体特征表示的有效性开展了深入的研究。由于多媒体特征表示有效性的评估依赖于其具体应用的多媒体计算相关任务,本文的理论研究与应用研究紧密结合,理论研究服务于实际的应用场景(视觉关键点坐标定位、视频文字描述自动生成、多模态知识分析等)需要,应用研究引导着理论算法的研究方向。本文的主要成果和贡献包含以下几个方面:1、本文提出了一种基于几何信息先验的图像深度特征表示学习方法。该方法首先通过损失函数的形式对图像中具有的人类易感知的几何学信息进行建模,随后通过该损失函数具体约束指导图像特征表示模型的训练过程,所得到的特征表示可以被用来完成脸部关键点检测或非刚性物体的运动结构恢复等任务,在不增加现有模型复杂度的前提下显著提升性能。2、本文提出了一种基于属性先验的视频深度特征表示学习方法。该方法首先提出了一种有效的视频属性词典构建方法,随后提出了一种高效的视频中层特征表示方法可以将一段视频序列用单幅图像进行表示。基于上述步骤,本文成功的把复杂的视频属性表示学习问题转换为相对容易解决的图像多标签分类问题。最后本文通过改进序列-序列学习的编码网络结构将具有属性先验的视频深度特征表示引入到视频文字描述自动生成框架中,显著的提升了所生成文字语句的语义性。3、本文提出了一种基于跨模态知识关联先验的多模态深度特征表示学习方法。该方法可以直接从网络数据中学习到多模态数据的深度知识表示。本文首先提出了一个完整的解决方案可以自动的从网络异质非结构化多模态数据中挖掘大规模结构化多模态关系数据集。然后基于跨模态数据之间的知识关联语义先验,本文提出了一个双向增强的多模态知识表示学习深度模型方法,再结合跨模态交替训练优化的方法可以利用数据本身而非依赖具体任务对多模态数据进行语义空间统一的知识化表示。对大量的实验结果的定量与定性分析表明,通过对反映人类知识的语义先验进行建模并指导深度特征表示模型的训练可以显著提高多模态数据特征的表示能力,进而明显促进相关多媒体计算任务的发展。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 何俊;刘跃;何忠文;多模态情感识别研究进展[J];计算机应用研究;2018年11期
2 汤波;王云;姚道武;;基于广告语言的多模态表现研究[J];皖西学院学报;2018年03期
3 梅勇;申云化;;大学英语教师多模态运用调查研究——以武汉地区高校为例[J];外国语文研究;2017年05期
4 翁成颜;;浅析多模态视角下中学翻转课堂教学模式[J];海外英语;2017年22期
5 郭婷;;微传播中多模态语篇的图文意义共建研究[J];海外英语;2017年24期
6 何少娴;张芳;毛浩然;;多模态研究的内涵外延、方法与视角[J];闽江学院学报;2017年06期
7 刘欣;徐邵阳;刘苏玲;翟子秋;;中英广告的多模态隐喻对比研究[J];现代交际;2018年02期
8 金黛莱;关承惠;;多模态视角下民族大学校徽的意义解读[J];聊城大学学报(社会科学版);2018年01期
9 毛现桩;;多模态符号学理论下多模态意义建构中模态间的并协与互补——一个大学校徽图案的视觉语法分析[J];科技风;2016年20期
10 王荣斌;薛耀琴;;大学英语写作教学中多模态评价能力的培养研究[J];内蒙古农业大学学报(社会科学版);2016年06期
11 汤海燕;;一幅“亚投行”政治漫画的多模态隐喻研究[J];海外英语;2016年22期
12 陈小云;李文斌;徐曦;陈娅玲;;高职英语听力多模态教学——基于缓解材料难度焦虑的探究[J];金华职业技术学院学报;2017年01期
13 程瑞兰;;多模态话语学位论文研究:空间结构特征及其形成原因[J];宿州学院学报;2016年12期
14 宋娟;;中英公益广告构图意义多模态对比分析[J];佳木斯职业学院学报;2017年01期
15 杨永青;;广告语言的多模态视角研究[J];山东农业工程学院学报;2016年12期
16 张德禄;;多模态论辩修辞框架探索[J];当代修辞学;2017年01期
17 乐思伟;;多模态性别隐喻的认知机制探析——以商业广告中的多模态性别隐喻为例[J];广东第二师范学院学报;2017年01期
18 郑鑫;;基于多模态识读能力培养的大学英语阅读教学[J];湖北函授大学学报;2017年08期
19 王文蒲;;多模态教学模式对学生学习自主性及效果的影响研究[J];英语广场;2017年02期
20 张睿思;;多模态话语框架下的跨文化交际课程教学实践[J];英语教师;2017年09期
中国重要会议论文全文数据库 前10条
1 肖骁;;基于国产化平台的多模态交互式航空管制设备[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年
2 唐淑华;;文学语篇的语言学研究视角:多模态认知诗学——《多模态、认知和实验文学》评介[A];认知诗学2014年第1辑[C];2014年
3 杜玲莉;王开建;纪再祥;;基于多模态话语理论的大学英语教学改革[A];新教育时代(2015年10月 总第1辑)[C];2015年
4 王琳;;浅析多模态话语分析理论在初中英语写作教学中的应用[A];第二届世纪之星创新教育论坛论文集[C];2015年
5 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
6 张莹;;大学英语课堂的多模态教学研究[A];“决策论坛——基于公共管理学视角的决策研讨会”论文集(下)[C];2015年
7 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
8 张旭;郭晨;孙建波;;自适应多模态克隆选择算法[A];2007年中国智能自动化会议论文集[C];2007年
9 赵广州;;从多模态话语理论角度来看交际教学法中的角色扮演[A];福建省外国语文学会2010年年会论文集[C];2010年
10 霍畅;侯婷婷;;基于大学英语翻转课堂的多模态教学研究[A];外语教育与翻译发展创新研究(第六卷)[C];2017年
中国博士学位论文全文数据库 前10条
1 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
2 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年
3 年福东;基于语义先验约束的多媒体特征表示研究[D];安徽大学;2018年
4 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
5 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
6 曾宪武;大跨度桥梁多模态耦合颤抖振及其控制研究[D];华南理工大学;2006年
7 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
8 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
9 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
10 王雷全;基于图模型的多模态社会媒体分析[D];北京邮电大学;2016年
中国硕士学位论文全文数据库 前10条
1 黄秀;基于多模态社交媒体数据源的用户画像构建的研究[D];电子科技大学;2018年
2 董锦锦;基于混沌加密的多模态生物模板保护技术研究[D];黑龙江大学;2018年
3 李昌;基于多模态视频的鲁棒目标跟踪方法研究[D];安徽大学;2018年
4 赵楠;基于动态协同图的多模态目标跟踪[D];安徽大学;2018年
5 梅素萍;多模态理论在高中英语词汇教学中的实验研究[D];河北师范大学;2018年
6 朱美玲;概念整合理论视角下《野兽国》的多模态隐喻意义建构[D];陕西师范大学;2017年
7 吴米花;集体教学活动中学前名师多模态话语支架功能的个案研究[D];华中师范大学;2017年
8 谢亮;小生境粒子群算法在多模态及动态问题中的研究[D];中原工学院;2018年
9 崔焕喜;多模态MRI结合超声在脑胶质瘤术中的应用[D];新疆医科大学;2017年
10 张寅丰;基于体模的64排螺旋CT多模态扫描对颅脑病灶及边缘征象的解剖学研究[D];河北医科大学;2017年
中国重要报纸全文数据库 前10条
1 苏州大学跨文化研究中心、天津职业技术师范大学非盟研究中心 朱玲;多模态:翻译研究的新视角[N];中国社会科学报;2017年
2 康建朝 中国教育科学研究院助理研究员 中芬教育创新研究中心主任 李栋 芬中教育协会执行副主席兼秘书长;从中芬对比视角看芬兰核心素养[N];中国教育报;2017年
3 浙江万里学院外语部 王中祥;多模态研究:认知语言学的新方法[N];中国社会科学报;2017年
4 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
5 西北师范大学外国语学院 吕文澎 兰州商学院陇桥学院外国语言文学系 韩世霞;多模态写作的特征与趋势[N];中国社会科学报;2016年
6 同济大学外国语学院 黄立鹤;多模态语言研究发展前景广阔[N];中国社会科学报;2016年
7 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
8 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978