收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的多模态智能问答技术研究

刘傲  
【摘要】:近年来,深度学习带动了自然语言处理(NLP)和计算机视觉(CV)的快速发展。在NLP领域中,一个非常流行的主题是智能问答,它要求机器自动回答自然语言形式的问题。除了传统的文本智能问答外,有一种提供了多模态数据(例如文字和图像)的变体,即多模态智能问答任务。这项任务对如何组合多模态数据和进行相应的推理策略提出了新的挑战。本文就研究多模态智能问答的一个分支,被称为多模态机器阅读理解(MMMC)。MMMC是机器阅读理解(MRC)的多模态扩展,MRC要求阅读和理解一篇文章并根据文章的内容回答问题,而在MMMC中,阅读背景变成了多模态形式,比如文本中带有对应的图片,问题也不仅限于文本,还可以由图像组成。MMMC存在各种类型的问题,例如完形填空,多项选择或排序。最近的一个MMMC数据集是RecipeQA,并且该数据集已经发布了四个不同的MMMC任务。在本文中,我们对MMMC任务进行了深入研究,并提出了可以解决多种任务样式的新颖的深度学习模型。我们针对RecipeQA的所有四个不同问题形式的子任务进行了实验,并获得了最先进的结果。由于之前的MRC工作并未引入时序信息,我们提出一种面向时序的深度模型,在单模态的MRC中处理时间顺序信息。我们通过对RecipeQA的文本填空任务进行重构,扩增为动作排序任务,要求根据背景文本来对一系列动作短语进行排序。我们提出了一个OrdMatch模型,该模型具有两个主要模块:层级匹配模块和基于注意力的排序正则化项。实验结果表明我们的模型能够有效学习MRC中的时序信息并帮助文本匹配。此外,我们针对MMMC,特别是RecipeQA数据集的不同任务形式进行了探讨。经调研,我们发现尚未有先进模型针对RecipeQA的任务形式进行探索。我们主要分两种任务形式进行研究,一种是多模态背景的机器阅读理解,即背景文本是多模态形式,一种是多模态问题的机器阅读理解,即问题和背景呈现不同模态。在多模式背景的问题中,我们基于神经张量网络提出一个多模态神经张量网络(MM-NTN),计算文档,图像,答案的三元组相关性。与先前提到的OrdMatch模型相比,该模型取得了更好的结果。针对问题为多模态,即文本背景和视觉问题(答案)的任务,我们提出了一种多级多模态Transformer(MLMM-Trans)架构,该架构建立在多头自注意力机制的基础上,它可以在步骤级别和文档-图像级别上分别提取特征。它的关键贡献是,提供了一个用于多个句子和多个图像的多模态融合的通用架构。该模在多个任务上均获得了最先进的成果,显示了其在MMMC上的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 侯旭京;;多模态隐喻浅析土味情话——基于综艺节目《非常完美》男女嘉宾对话[J];海外英语;2019年22期
2 王芳;;网络多模态环境下大学生外语学习焦虑及干预策略[J];海外英语;2019年21期
3 王璐璐;张朝霞;;多模态教学模式在大学英语词汇教学中的应用[J];信阳农林学院学报;2019年04期
4 叶永青;;互动构建的时空延展和情感变迁——电子哀悼多模态语类特征[J];天津外国语大学学报;2020年01期
5 董芮君;史琪;;西安城市形象广告语篇的多模态意义构建[J];北极光;2019年12期
6 范振强;郭雅欣;;多模态隐喻的前沿理论研究:问题与展望[J];阜阳师范学院学报(社会科学版);2019年06期
7 王荣斌;薛耀琴;;4~5岁汉语儿童否定行为的多模态表征特点[J];学前教育研究;2020年01期
8 傅晓莉;李爱萍;;二语视听多模态输入研究述评[J];云南师范大学学报(对外汉语教学与研究版);2020年01期
9 马廷辉;高原;;美国政治漫画中的多模态隐喻构建与批评分析——以中美贸易冲突为例[J];外语研究;2020年01期
10 曹一林;;多模态教学在来华留学生中国概况课程中的实践与应用[J];教育观察;2019年32期
11 李红飞;郑静敏;;移动互联网环境下的多模态教学模式实践研究——以“公共关系学”课程为例[J];黑龙江教育(高教研究与评估);2019年12期
12 张莹莹;钱胜胜;方全;徐常胜;;基于多模态知识感知注意力机制的问答方法[J];计算机研究与发展;2020年05期
13 黄立鹤;张德禄;;多核并行架构:多模态研究的范式、路径及领域问题之辨[J];外语教学;2019年01期
14 赵雨菲;;近五年我国多模态翻译研究综述[J];农家参谋;2019年04期
15 闫雪锋;;多模态话语视域下“翻转课堂”教学模式的改革与探索——以西安职业技术学院公共基础课为例[J];才智;2019年10期
16 张楠;张海;杨絮;;荷兰开放大学的大数据多模态学习分析研究新进展[J];中国信息技术教育;2019年Z3期
17 杜中全;赵志坚;;基于多模态与跨文化的信息素养培养路径研究[J];情报科学;2019年10期
18 李文;王振华;;司法话语多模态研究的现状与未来[J];上海交通大学学报(哲学社会科学版);2019年05期
19 蒋海燕;;基于学习风格理论的大学英语多模态识读教学[J];桂林师范高等专科学校学报;2019年05期
20 王妤娜;;小学语文渗透儿童哲学教育的多模态教学模式[J];福建基础教育研究;2019年09期
中国重要会议论文全文数据库 前10条
1 李阳;;多模态深度学习方法在脑疾病辅助诊断中的应用[A];第十六届中国体视学与图像分析学术会议论文集——交叉、融合、创新[C];2019年
2 ;中文信息处理发展报告(2016) 第十八章 多模态信息处理研究进展、现状及趋势[A];中文信息处理发展报告(2016)[C];2016年
3 彭金花;;视听动触多模态教学法在高中英语词汇教学中的运用[A];2019年教育现代化教学管理座谈会论文汇编(一)[C];2019年
4 孔敏;;多模态教学模式在高职英语教学中的应用研究[A];2018年教师教育能力建设研究专题研讨会论文集[C];2018年
5 訾美玲;;多模态体验式教学法的教学使用[A];2019全国教育教学创新与发展高端论坛会议论文集(卷十二)[C];2019年
6 王仙锦;;试析网络环境下英语多模态写作教学优化策略[A];荆楚学术(2019年8月)[C];2019年
7 吴双姣;;商业广告中多模态隐喻的动态构建[A];外语教育与翻译发展创新研究(第九卷)[C];2020年
8 潘叶英;;电影中的多模态隐喻概念整合分析[A];外语教育与翻译发展创新研究(第九卷)[C];2020年
9 黎彦辰;;“慕课+翻转课堂”多模态教学下的大学英语教学效果评估方法探索[A];外语教育与翻译发展创新研究(第九卷)[C];2020年
10 唐淑华;;文学语篇的语言学研究视角:多模态认知诗学——《多模态、认知和实验文学》评介[A];认知诗学2014年第1辑[C];2014年
中国博士学位论文全文数据库 前10条
1 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年
2 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年
3 汪珊;局灶性皮质发育不良的临床和影像学分析及多模态术前评估的临床研究[D];浙江大学;2019年
4 卢洪阳;清醒小动物多模态脑光学成像技术及应用[D];上海交通大学;2016年
5 王普明;基于特征张量的大数据多模态分析研究[D];华中科技大学;2019年
6 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年
7 刘曌雯;多模态生物数据分析与挖掘研究[D];西安电子科技大学;2018年
8 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
9 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
10 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
中国硕士学位论文全文数据库 前10条
1 刘傲;基于深度学习的多模态智能问答技术研究[D];电子科技大学;2020年
2 严木兰;多模态视角下的初中英语阅读教学的实验研究[D];赣南师范大学;2019年
3 游青;近红外光控型智能纳米载药系统在肿瘤诊疗中的应用研究[D];天津大学;2018年
4 杨丹;多模态视角下中英申奥宣传片中文化软实力的构建[D];合肥工业大学;2017年
5 张鑫;多模态隐喻视角下英汉护肤品广告比较研究[D];哈尔滨师范大学;2019年
6 胡旻;英语短语动词的结合手势的多模态教学研究[D];厦门大学;2017年
7 徐燕;视觉语法与图文关系视角下的多模态话语分析[D];云南大学;2017年
8 黄江玲;词典正文知识表述的多模态性及其视觉修辞功能[D];厦门大学;2018年
9 曹佳敏;多模态理论在初中英语词汇教学中的应用[D];伊犁师范大学;2019年
10 胡一鸣;多模态视角下百词斩在高中英语词汇学习中的应用研究[D];哈尔滨师范大学;2019年
中国重要报纸全文数据库 前10条
1 西南交通大学外国语学院 罗载兵;多模态隐喻的语义发生[N];中国社会科学报;2019年
2 苏州大学跨文化研究中心、天津职业技术师范大学非盟研究中心 朱玲;多模态:翻译研究的新视角[N];中国社会科学报;2017年
3 中国工程院院士 邬江兴;多模态智慧网络与内生安全[N];中国信息化周报;2018年
4 浙江万里学院外语部 王中祥;多模态研究:认知语言学的新方法[N];中国社会科学报;2017年
5 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
6 西北师范大学外国语学院 吕文澎 兰州商学院陇桥学院外国语言文学系 韩世霞;多模态写作的特征与趋势[N];中国社会科学报;2016年
7 同济大学外国语学院 黄立鹤;多模态语言研究发展前景广阔[N];中国社会科学报;2016年
8 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
9 本报记者 郭钇杉;京东数科发力多模态AI技术[N];中华工商时报;2020年
10 本报见习记者 辛雨;成像设施,有“图”有“真相”[N];中国科学报;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978