收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于神经网络的复述生成方法研究

马彬彬  
【摘要】:复述是指同一语言内语义相同的不同表达形式,同一意思不同的人会有不同的表达,这反映了自然语言的灵活多样性,但却成为自然语言处理的瓶颈。为解决这一瓶颈问题,复述生成关注同一语义下不同表达形式之间的转换,旨在将给定的句子转换成多个语义相同的不同句子,可提高自然语言生成模型的鲁棒性,被广泛应用于机器翻译、自动问答、文本文摘等自然语言处理任务。目前复述生成研究面临以下三个问题:(1)基于编码-解码神经网络框架的复述生成方法存在未登录词无法生成、低频词生成不准确以及词汇重复生成等问题;(2)复述平行语料的有限规模限制了编码器的语义表示学习能力,成为性能提升的阻碍;(3)汉语复述语料十分匮乏,导致难以开展汉语复述生成的研究。本文针对现有基于神经网络复述生成方法存在的问题,借鉴多种典型神经网络模型的优势,引入注意力机制、复制机制、覆盖机制和多任务学习框架;利用自然语言处理技术构建汉语复述平行语料,并在构建的语料上开展汉语复述生成研究。本文的主要研究内容和贡献包括以下三个方面。(1)设计实现多机制融合的神经网络复述生成模型。已有复述生成模型中低频词和未登录词生成不准确,导致信息严重缺失;在解码时未能考虑历史决策信息,导致相同词汇反复出现。对此,我们在已有模型中引入复制机制和覆盖机制,实现多机制融合的神经网络复述生成模型。本文分别在公开数据集Quora和MSCOCO上训练模型,进行各机制贡献度的评测。实验结果显示,与基线模型相比,本文的模型在Quora上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别提高4.18%、4.25%、4.08%和3.19%,在解决未登录词、低频词以及词汇重复问题上效果显著,验证了多机制融合的复述生成模型的有效性。(2)提出联合自编码任务的神经网络复述生成模型。复述平行语料的有限规模限制了已有模型的语义表示学习能力,导致复述句的生成质量不高。对此,我们在多任务学习框架中联合复述生成任务和自编码任务,两个任务共享一个编码器学习语义表示,从而增强编码器的语义表示学习能力。本文分别利用Quora和MSCOCO训练模型,将上述多机制融合模型作为基线模型,进行对比评测。实验结果显示,与基线模型相比,联合自编码任务的模型在Quora数据集上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别提高1.32%、2.04%、1.12%和0.82%,验证了该模型的有效性。(3)提出基于多翻译引擎的汉语复述平行语料构建方法。汉语复述语料十分匮乏,阻碍了汉语复述研究的开展。考虑到英语具有丰富的复述资源,我们利用成熟的机器翻译技术提出基于多翻译引擎的汉语复述语料构建方法,首次构建得到260k的汉语复述平行语料。在此基础上,我们开展汉语复述现象的研究,总结出13种汉语复述现象,其中有3种属于汉语独有,说明汉语复述研究的特殊意义。随后我们利用构建的汉语复述语料以及上述神经网络模型,得到汉语复述生成模型;评测结果显示在多参考复述评测集上ROUGE-1、ROUGE-2、BLEU和METEOR指标分别达到53.59%、27.03%、62.23%和37.18%,表明本文提出的复述语料构建方法对汉语复述生成研究的推进具有一定意义,同时再一次证明了本文提出的复述生成神经网络模型的有效性。针对已有复述生成模型的缺陷,本文设计实现多机制融合的神经网络复述生成模型解决了未登录词、低频词和词汇重复的问题;提出联合自编码任务的复述生成模型提高了模型语义表示学习能力;构建大规模汉语复述平行语料,开展汉语复述现象和汉语复述生成研究;并在国际公开数据集上开展对比评测,验证了本文所提模型和方法的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前15条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 刘高宇;;深度神经网络在煤质数据分析与预测中的应用[J];电脑知识与技术;2019年28期
3 冯伟业;廖可非;欧阳缮;牛耀;;基于胶囊神经网络的合成孔径雷达图像分类方法[J];科学技术与工程;2019年28期
4 温赞扬;;基于群智优化神经网络的音乐风格分类模型研究[J];现代电子技术;2019年21期
5 郑丽;;建筑设计中神经网络技术与遗传算法探究[J];湖北农机化;2019年21期
6 易炜;何嘉;邹茂扬;;基于循环神经网络的对话系统记忆机制[J];计算机工程与设计;2019年11期
7 黄为;李永刚;胡上成;汪毅;;基于循环神经网络的船摇数据实时预测[J];科学技术与工程;2019年31期
8 赖策;魏小琴;;卷积神经网络的训练方式研究[J];信息与电脑(理论版);2019年22期
9 周济民;;基于神经网络改进的元胞自动机分析——美国阿片类药物滥用情况[J];信息系统工程;2019年11期
10 马猛;王明红;;基于进化神经网络的304不锈钢车削加工表面粗糙度预测[J];轻工机械;2019年06期
11 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
12 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
13 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
14 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
15 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
2 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
3 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
4 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
5 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
6 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
7 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
8 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
9 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
10 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
中国硕士学位论文全文数据库 前10条
1 白会杰;基于人工智能的光伏发电短期功率预测技术[D];北京交通大学;2019年
2 张荣葳;基于卷积神经网络与SimHash的网络异常流量检测技术研究[D];中国工程物理研究院;2019年
3 张超利;基于神经网络的河南省空气污染预测研究[D];华北水利水电大学;2019年
4 范汝鑫;基于深度神经网络的个性化商品推荐研究[D];合肥工业大学;2019年
5 贾凯;人工蜂群算法与BP神经网络并行集成学习研究[D];合肥工业大学;2019年
6 黄国维;基于深度学习的城市垃圾桶智能分类研究[D];安徽理工大学;2019年
7 江白华;基于深度学习的人脸识别研究[D];安徽理工大学;2019年
8 侯栋楠;基于深度特征学习的振动状态识别方法[D];华北电力大学;2019年
9 肖炜茗;基于Bernstein多项式和阶梯路径构造的前向插值神经网络及逼近能力[D];天津师范大学;2019年
10 强硕;基于神经网络的电锅炉动态过程建模研究[D];华北电力大学;2019年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;基于神经网络的自适应PID控制的智能衣架[N];科学导报;2019年
2 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
3 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
4 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
5 ;神经网络小史[N];电子报;2018年
6 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 张斌;谁还需要“同传”[N];文汇报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978