收藏本站
《哈尔滨工业大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的交互式问答技术研究

周小强  
【摘要】:随着移动互联网的日益普及和移动智能终端的迅猛发展,智能交互系统已在日常生活工作领域中得到了广泛应用,如在线客服和金融咨询等。作为智能交互系统中的一种重要存在形式,交互式问答通过自然连续的人机对话交互实现用户信息的自动反馈,而其中的关键研究问题在于如何学习和表示上下文关联的自然语句,以及如何自动解析交互场景中复杂抽象的上下文语句关系。近年来,深度神经网络在语音识别、图像分类和机器翻译任务上都表现出强大的数据抽象表示能力,深度学习也成为了自然语言处理研究领域中的一种主流方法。鉴于此,本文研究基于深度学习的交互式问答技术,通过深度神经网络探讨交互式问答的上下文表示学习和语义关系建模,主要深入研究交互式问答系统框架中所涉及的关键技术问题。首先,本文针对交互式场景中的上下文关联现象,构建了面向真实环境的交互式问答知识库,为交互式问答技术研究提供了一份可靠的语料资源。本文首先收集了真实网购环境下的交互式问答语料,并分别从语境、语用和语义三个方面分析了上下文关联现象中的话题关联、用户行为依赖和上下文语义关系;然后标注了交互式问答中的语句话题、用户行为和上下文语句关系,建立了基于话题类别和用户行为类别的问答知识框架,知识库中的问答知识条目对应于基于上下文关系划分的问答语句序列。本文所构建的交互式问答语料库和知识库可用于评测交互式问答的问句解析、关联问句检索、答案选择和上下文关系结构解析等相关任务。本文通过用户意图分析任务验证了语料知识库的数据可靠性,并通过隐马尔可夫的对话建模归纳分析了交互式问答的话题关联结构和对话行为结构。其次,本文对交互式问答中的问句解析问题进行了研究,提出了基于循环神经网络的交互式上下文表示学习模型。面对交互式问答中普遍存在的语义缺省情况,本文通过自动编码-解码的无监督学习架构进行上下文表示学习的端到端建模,实现了交互式问答上下文的自动编码和解码,并结合分类器完成了基于上下文的问句解析表示。针对上下文编码,模型通过交互式语句编码机制学习上下文场景中的语言匹配模式。本文提出的模型不仅消除了对于逐步式问句解析方法中问句完整性判别、上下文抽取和问句补全等相关处理的性能依赖,而且降低了问句解析模型在有监督学习过程中对于人工先验知识的依赖。实验表明,本文提出的上下文表示学习模型具有更好的任务自适应性,对应的用户问句解析性能也优于其他对比模型。接着,本文对交互式问答中的问答匹配问题进行了研究,提出了基于循环卷积神经网络模型的上下文关联场景的答案选择方法。在交互式问答场景中,不仅存在问句与候选答案的语义匹配关系,还存在上下文关联答案之间的语义相似性或相关性。鉴于此,本文通过整合卷积神经网络和循环神经网络实现问答语义匹配与答案语义关联的联合建模,并提出了“渐进式”学习算法进行模型的优化训练,提高了模型对于答案语义关联信息的学习表示能力。本文分别在客服问答和社区问答的答案选择任务上进行了模型评测,实验表明,本文提出的循环卷积神经网络模型显著优于其他对比模型的答案判别性能,尤其是对语义相似或相关答案选项的有效区分;并验证了答案语义关联建模对于答案选择的有效性。最后,本文对交互式问答中的关系结构解析问题进行了研究,提出了基于注意力机制的交互式问答语句关系标注模型。交互式问答系统实现知识自学习的重要手段是面向交互式场景的问答知识抽取,其关键问题是如何正确解析上下文语境中的复杂语句关系。为此,本文通过基于匹配模式的注意力学习机制引导上下文语句关系的建模,实现了语句关系模式与句子语义成分的特征对齐,提高了模型对于复杂语句关系的学习表示能力。针对语句关系的上下文依赖,本文通过循环神经网络进行语句关系的上下文建模,实现了基于上下文语境的语句关系学习及标注。实验表明,本文提出的关系标注模型明显优于其他对比模型的解析性能;模型能够有效识别出交互式场景的复杂语句关系,抽取出包含完整语义关系的问答知识对,有效提高了系统的知识自学习水平。
【学位授予单位】:哈尔滨工业大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP391.1;TP18

【相似文献】
中国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
5 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
6 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
7 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
8 ;硅光子神经网络亮相[J];石油工业计算机应用;2016年04期
9 任刚红;杜坤;周明;刘年东;张晋;;基于级联神经网络的年降雨量预测[J];土木建筑与环境工程;2016年S2期
10 金鑫;李龙威;季佳男;李祉歧;胡宇;赵永彬;;基于大数据和优化神经网络短期电力负荷预测[J];通信学报;2016年S1期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
5 ;人工智能将取得大面积突破[N];中国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人时代[N];中国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
中国博士学位论文全文数据库 前10条
1 李一鸣;结合知识和神经网络的文本表示方法的研究[D];浙江大学;2018年
2 LYDIA LAZIB;文本否定范围识别技术研究及其应用[D];哈尔滨工业大学;2018年
3 周小强;基于深度学习的交互式问答技术研究[D];哈尔滨工业大学;2017年
4 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年
5 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
6 项延德;基于卷积神经网络的心电信号检测和分类研究[D];浙江大学;2018年
7 孔颖;终态神经网络及其相关应用[D];浙江工业大学;2017年
8 谈宏莹;基于太赫兹时域谱物质检测技术及实验研究[D];燕山大学;2016年
9 吴森森;地理时空神经网络加权回归理论与方法研究[D];浙江大学;2018年
10 张振敏;基于脉冲神经网络的纹理图像识别研究[D];福建师范大学;2016年
中国硕士学位论文全文数据库 前10条
1 谢良才;基于BP神经网络的煤热解特性及煤灰熔融特性研究[D];西北大学;2018年
2 张旭;基于VMD-神经网络输气管道的工况分类研究[D];东北石油大学;2018年
3 孙昊;粒子群神经网络在供水管线腐蚀预测中的应用研究[D];东北石油大学;2018年
4 严寒;基于卷积神经网络的图像分类算法研究[D];西北大学;2018年
5 季静;融合多重语义对齐表示的机器阅读理解研究[D];南京师范大学;2018年
6 尹化荣;基于卷积神经网络的情感分类算法研究[D];西北大学;2018年
7 邹鑫;基于卷积神经网络的图像分类算法研究[D];西北师范大学;2018年
8 李婷玉;基于神经网络的输油管道腐蚀预测研究与实现[D];华北理工大学;2018年
9 赵士超;基于神经网络的LIBS钢水成分在线检测[D];华北理工大学;2018年
10 曹雲梦;基于BP神经网络的轨道电路故障诊断[D];华北理工大学;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026