收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于改进自注意力的机器翻译新模型

纪明轩  
【摘要】:机器翻译是自然语言处理中的核心任务。当前的神经机器翻译模型主要是基于递归神经网络和卷积神经网络的深度网络模型,但仅仅使用递归神经网络和卷积神经网络处理文本都具有一定的局限性。近几年,自注意力机制在自然语言处理中的多个领域中展现出优越的性能。因此,文中将自注意力机制应用于机器翻译,针对机器翻译任务的特点,对传统的自注意力机制进行改进,设计新模型。论文的研究内容和取得的成果主要如下:1.在机器翻译任务中,自注意力机制由于高度可并行化计算的能力显著减少了模型的训练时间,并且可以有效地捕捉到上下文中所有单词之间的语义相关度而受到了广泛的关注。然而,不同于循环神经网络,自注意力机制的高效源于忽略上下文单词之间的位置结构信息。为了使模型能够利用单词之间的位置信息,基于自注意力机制的机器翻译模型Transformer使用正余弦位置编码方式表示单词的绝对位置信息,然而,这种方法虽然能够反应出相对距离,但却缺乏方向性。因此,文中基于对数位置表示方法,并与自注意力机制相结合,提出一种机器翻译新模型。该模型不仅继承了自注意力机制的高效性,还可以保留单词之间的距离信息与方向性信息。研究表明,与传统的自注意力机制模型以及其它模型相比,文中所提新模型能够显著地提高机器翻译的准确性。2.在机器翻译领域,近年来许多将自注意力机制和递归神经网络结合的新模型被提出,研究表明这些复合模型在机器翻译任务上的性能超越了单独的自注意力机制或递归神经网络。虽然通过引入更多参数加强了模型获取结构信息的能力,但过多参数产生的冗余信息并不一定能够加强机器翻译系统的性能,甚至在一定程度上会影响翻译效率。因此,文中引入更加轻量级的门控循环单元网络,与自注意力机制相结合,设计更加高效的机器翻译模型。模型采用“残差连接”机制将两种编码器的结果相结合,“残差连接”机制可以保留底层的结构信息并传递给高层编码器,解决梯度爆炸和消失问题。实验结果表明,底层的门控循环单元网络有效地保存了文本中的层次结构信息,并与自注意力机制的语义分析有着紧密集合。相较于其它模型,该模型对于自然语言和人工语言的处理具有一定优势。3.最近研究表明,自注意力机制通常专注于独立的单词,却忽略连续的短语形式,而短语被认为在机器翻译中是必不可少的形式。有关机器翻译研究现状的工作表明,将基本单元从单词扩展到短语可以对译文质量产生实质性的提高,这表明可以通过对短语显式地建模来提高神经机器翻译系统的性能。而在以往的研究中,没有工作明确将短语建模和层次结构建模相结合。因此,文中提出粒度细化,然后通过限制注意力范围来增强模型获取局部信息的能力,因此本文提出的方法参数更少,更加轻量级,对于计算能力的要求也更低。自注意力机制通常由多层编码器-解码器递归组成,其中高层倾向于学习语义信息,而低层则倾向于捕获结构信息和词汇信息。因此,文中仅将局部性建模应用于底层,即底层自注意力层拥有距离感知和提取局部信息的能力,而高层则捕获与距离无关的全局语义信息。实验结果表明,文中提出的新模型能够显著改善神经机器翻译模型的性能。


知网文化
【相似文献】
中国期刊全文数据库 前14条
1 纪明轩;宋玉蓉;;一种基于对数位置表示和自注意力的机器翻译新模型[J];计算机科学;2020年S2期
2 王钰;;自然语言处理及其在机器翻译中的应用[J];现代语文;2019年05期
3 孙小婉;王英;王鑫;孙玉东;;面向双注意力网络的特定方面情感分析模型[J];计算机研究与发展;2019年11期
4 陈海涵;吴国栋;李景霞;王静雅;陶鸿;;基于注意力机制的深度学习推荐研究进展[J];计算机工程与科学;2021年02期
5 向玉琼;;注意力竞争的生成与反思:论政策议程中的注意力生产[J];行政论坛;2021年01期
6 蒋梦婷;;摭谈如何培养幼儿注意力[J];才智;2020年05期
7 王斌;;射箭运动员注意力训练的必要性探究[J];当代体育科技;2020年05期
8 黄培松;黄沛杰;丁健德;艾文程;章锦川;;基于隐含主题协同注意力网络的领域分类方法[J];中文信息学报;2020年02期
9 宋婷;陈战伟;;基于方面情感的层次化双注意力网络[J];信息技术与网络安全;2020年06期
10 蒋宗礼;张静;;融合用户和产品信息的多头注意力情感分类模型[J];计算机系统应用;2020年07期
11 路彩虹;;论短视频持久注意力的有效建构[J];电视研究;2020年05期
12 孙昌捷;张惠红;;体育运动对儿童注意力影响的系统评价[J];吉林体育学院学报;2020年04期
13 陈纯子;;“集中你的注意力”教学设计[J];科学咨询(教育科研);2020年10期
14 张芸;;射击运动员注意力练习方法的研究[J];当代体育科技;2020年23期
中国重要会议论文全文数据库 前20条
1 特里·奥尔利克;董庆勇;;比赛时集中注意力的计划[A];《体育科研》一九九一年第四期(总第44期)[C];1991年
2 徐秋晶;张明明;万柏坤;;多尺度熵在与想象动作电位相关的注意力区分中的应用[A];天津市生物医学工程学会第29届学术年会暨首届生物医学工程前沿科学研讨会论文集[C];2009年
3 王铁冬;姜海艳;;教学中如何提高小学生的注意力[A];探索 创新 发展[C];2000年
4 黄京丽;李丽娟;李尔珍;汪芸;;53例抽动-秽语综合征患儿注意力调查与分析[A];中华医学会第十四次全国儿科学术会议论文汇编[C];2006年
5 粱桂华;;如何培养听障儿童的注意力[A];第三届全国儿童康复学术会第十届全国小儿脑瘫学术研讨会论文汇编[C];2008年
6 张瑞跃;;提高学生的注意力,增加思想品德课实效[A];2015年2月现代教育教学探索学术交流会论文集[C];2015年
7 林国琼;;浅谈提升自闭症儿童注意力的适应策略[A];第三届全国儿童康复学术会第十届全国小儿脑瘫学术研讨会论文汇编[C];2008年
8 欧云;;如何提高孩子的注意力[A];2017年课堂教学改革专题研讨会论文集[C];2017年
9 刘宇鹏;;中学生课堂注意力集中训练方法[A];2015年12月现代教育教学探索学术交流会论文集[C];2015年
10 唐科;;浅谈如何在训练中吸引犬的注意力[A];第十三次全国养犬学术研讨会论文集[C];2009年
11 胡正和;胡正明;黄昭发;;学生课堂注意力的提升策略研究[A];《教师教学能力发展研究》科研成果集(第六卷)[C];2017年
12 刘少辉;;训练中如何培养和提高犬的注意力[A];第16次全国犬业科技学术研讨会论文集[C];2015年
13 吴慧莉;陈钢;孙宁;鲁学良;姜景新;彭志平;;记忆游戏和重复打字评估睡眠限制后记忆力和注意力变化[A];2008年中国睡眠研究会第五届学术年会论文摘要汇编[C];2008年
14 徐平;周成军;;围棋活动对儿童注意力和意志力的影响[A];第十二届全国心理学学术大会论文摘要集[C];2009年
15 王玉婷;;“四维度”注意力训练对提高儿童注意力的有效性研究综述[A];第二十一届全国心理学学术会议摘要集[C];2018年
16 王林;;小学低段语文课堂注意力的培养[A];2019年广西写作学会教学研究专业委员会教师教育论坛资料汇编(二)[C];2019年
17 张春新;;如何提高工作犬的注意力[A];第16次全国犬业科技学术研讨会论文集[C];2015年
18 薛春芝;;弱智儿童注意力缺损的矫正[A];湖北民政医学第三届学术会议论文集[C];1992年
19 李玉君;;浅谈学生的注意力和提高措施[A];中华教育理论与实践科研论文成果选编(第十二卷)[C];2016年
20 彭湃;;场馆学习中的“注意力—价值”模型及其启示[A];全球科学教育改革背景下的馆校结合——第七届馆校结合科学教育研讨会论文集[C];2015年
中国博士学位论文全文数据库 前20条
1 王宗胜;基于注意力的证券投资选择[D];天津财经大学;2007年
2 侯颜良;针药结合治疗小儿注意力不集中症的临床研究[D];南京中医药大学;2013年
3 张锦华;药物过度使用性头痛的注意力损伤:神经生理与行为学证据[D];浙江大学;2015年
4 刘占一;基于对齐技术的搭配获取及其在机器翻译中的应用研究[D];哈尔滨工业大学;2013年
5 才智杰;藏文词向量表示关键技术研究[D];青海师范大学;2018年
6 方兰婷;基于机器学习的自然语言处理和传输技术的研究[D];东南大学;2018年
7 张孝慈;递归神经网络模型的若干关键问题研究[D];中国科学技术大学;2019年
8 盛银;时滞递归神经网络的稳定性与同步控制研究[D];华中科技大学;2018年
9 张芳海;递归神经网络的多稳定性研究[D];华中科技大学;2018年
10 武静;多方法融合蒙汉机器翻译与译文重排序研究[D];内蒙古大学;2017年
11 杜文斌;基于递归神经网络的视频行为建模和识别方法研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2018年
12 麦热哈巴·艾力;基于实例的维汉机器翻译若干关键问题研究[D];新疆大学;2014年
13 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年
14 林德辉;时滞离散递归神经网络稳定性及同步控制研究[D];浙江大学;2019年
15 张国东;基于忆阻的时滞递归神经网络的动力学分析与同步控制[D];华中科技大学;2014年
16 刘宇鹏;机器翻译中系统融合技术的研究[D];哈尔滨工业大学;2011年
17 王斯日古楞;基于混合策略的汉蒙机器翻译及相关技术研究[D];内蒙古大学;2009年
18 朱进;递归神经网络的稳定性和无源性分析[D];东北大学;2010年
19 吴爱龙;基于忆阻的递归神经网络的动力学分析[D];华中科技大学;2013年
20 季策;时滞递归神经网络的动态特性研究[D];东北大学;2005年
中国硕士学位论文全文数据库 前20条
1 纪明轩;基于改进自注意力的机器翻译新模型[D];南京邮电大学;2020年
2 方森;基于自注意力机制的机器翻译模型研究[D];华中师范大学;2020年
3 汪琪;基于注意力卷积的神经机器翻译研究[D];苏州大学;2019年
4 王伟璇;多子空间注意力神经机器翻译[D];大连理工大学;2020年
5 游亚东;结合注意力和长短期记忆网络的图像描述方法研究[D];江西理工大学;2020年
6 徐男;基于注意力机制的病症分类模型研究[D];上海交通大学;2019年
7 张硕;基于注意力机制的方面级别情感分析算法研究[D];哈尔滨工业大学;2020年
8 金文珍;基于神经网络和多头自注意力机制的中文机器阅读理解研究[D];西南大学;2020年
9 陈一鑫;基于结构化注意力机制的人体行为识别研究[D];华南理工大学;2020年
10 张冉;注意力引导的深度学习算法在胸部X光肺结核检测中的应用研究[D];山东师范大学;2020年
11 乔若羽;基于注意力机制的神经网络预测模型[D];中国科学技术大学;2020年
12 杨琦;基于注意力机制的文本情感分类方法研究[D];南京大学;2020年
13 王洪阳;自注意力机制在语义理解和情感分析中的研究及应用[D];电子科技大学;2020年
14 于昊;武术成长小组提升儿童注意力水平研究[D];华中科技大学;2017年
15 肖婵;基于脑电波的注意力训练研究[D];华中师范大学;2016年
16 丁文斌;基于注意力配置视角下的政府议程设置研究[D];湖南大学;2016年
17 马秋平;小学四年级学生课堂注意力的现状调查研究[D];南京师范大学;2016年
18 祖一丹;提升学龄儿童“注意力”的小组工作报告[D];长春工业大学;2016年
19 张晓妍;基于脑电的注意力个性化训练研究[D];西南科技大学;2015年
20 云涛;数学课堂教学中如何调控学生的注意力[D];延安大学;2015年
中国重要报纸全文数据库 前20条
1 北京师范大学认知神经科学与学习国家重点实验室 郭家梁 宋艳;有一类儿童,注意力难以集中[N];人民政协报;2019年
2 张龄月;注意力在哪里,能量就在哪里[N];解放军报;2020年
3 本报评论员;警惕“注意力”政绩观[N];甘肃日报;2017年
4 本报记者 徐伯元;电商促销游戏“吃掉”了多少注意力?[N];大连日报;2018年
5 何冠军;警惕“注意力陷阱”[N];人民日报;2018年
6 记者 赵天宇;“15秒”是如何攫取你的注意力的?[N];北京科技报;2018年
7 中国青年报·中青在线见习记者 孙山;53.7%受访者坦言难以集中注意力[N];中国青年报;2018年
8 ;不应被美国的舆论攻势旁移我国改革的注意力[N];21世纪经济报道;2018年
9 山西省洪洞县大槐树镇第一中学 李小梅;浅谈如何提高学生在数学课堂中的注意力[N];发展导报;2017年
10 记者 陈强;群团组织要把注意力更多放在困难群众身上[N];中国青年报;2015年
11 本报评论员;集中注意力 抢抓新机遇[N];朔州日报;2016年
12 本报评论员;集中注意力[N];焦作日报;2016年
13 山东省高密市第三实验小学 王海玲;如何让学生在语文课堂上集中注意力[N];发展导报;2016年
14 本报记者 彭薇;孩子的注意力,怎样训练[N];解放日报;2013年
15 一珊摘编;看紧钱袋 看紧你的注意力[N];中国经营报;2002年
16 文/李浩;集聚“注意力”换得大财富[N];山西经济日报;2000年
17 绥江县板栗乡桂花小学 文晓明;谈如何培养孩子的注意力[N];云南经济日报;2010年
18 安塞县沿河湾镇中心小学 张玉红;浅谈儿童注意力的培养[N];延安日报;2010年
19 山东省无棣县车镇乡五营回民学校 于树维;怎样培养低年级学生的注意力[N];学知报;2010年
20 姚哥庄小学 兰霞;如何控制学生的注意力[N];学知报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978