收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向问答的问句关键词提取技术研究

王煦祥  
【摘要】:问答系统是目前自然语言处理领域中的研究热点之一,它以精准的答案直接回答用户以自然语言方式表达的问题。在问题分析时,提取问题中的关键词对于理解其语义至关重要;在问题检索时,关键词的提取的效果直接影响到信息检索的结果和答案的相似度计算与排序。因此,关键词提取是问答系统的基础,面向问答的问句关键词提取技术研究对提升问答系统的性能有着积极作用,能够为问答系统带来更好的用户体验。本文重点研究了两类问句关键词提取技术:无监督的关键词提取方法和有监督的关键词提取方法。有监督的关键词提取方法又分为:基于特征选择的机器学习方法和自动学习特征的深度学习方法。基于图模型的关键词提取算法发展较为迅速。本文提出了基于依存分析排序的无监督方法提取关键词,引入词向量,从语义的角度衡量词语的相似度,引入依存句法分析,从句法结构的角度来表示两个词语之间的关联度,利用基于图的排序算法,更加准确地对候选词语进行排序,提高关键词抽取的效果。基于特征选择的机器学习方法提取关键词,将依存句法特征应用到关键词提取技术中,通过特征分析,选取最有效的特征,利用最大熵模型训练分类器,来判断候选词是否为关键词。实验结果表明,依存句法特征有助于提高关键词提取的效果。自动学习特征的深度学习方法提取关键词,能够让机器自动学习关键词的特征,并将特征学习融入到模型建立的过程中,避免了特征工程。在我们的研究中,利用LSTM模型构建神经网络层次,将目标词语的上下文信息都输入到模型中,更好地利用了词语的语义信息。同时,为了解决人工标注训练数据不足,无法满足模型训练需求的问题,我们提出了两段式的训练方法。实验证明了深度学习的关键词提取方法的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 徐扬;;基于最大熵模型的汉语隐喻现象识别[J];计算机工程与科学;2007年04期
2 王素格;杨军玲;张武;;基于最大熵模型与投票法的汉语动词与动词搭配识别[J];小型微型计算机系统;2007年07期
3 李济洪;王瑞波;王凯华;李国臣;;基于最大熵模型的中文阅读理解问题回答技术研究[J];中文信息学报;2008年06期
4 谢法奎;张全;;基于最大熵模型的语义块切分[J];计算机工程与应用;2009年26期
5 樊娜;蔡皖东;赵煜;;基于最大熵模型的观点句主观关系提取[J];计算机工程;2010年02期
6 葛斌;封孝生;谭文堂;肖卫东;;基于多层最大熵模型的句子主干分析[J];计算机科学;2010年12期
7 方明;刘培玉;;基于最大熵模型的评价搭配识别[J];计算机应用研究;2011年10期
8 陆铭;康雨洁;俞能海;;简约语法规则和最大熵模型相结合的混合实体识别[J];小型微型计算机系统;2012年03期
9 董晓凯;莫苏宁;李博;陆伟;;基于最大熵模型下复合特征模板的产品属性挖掘研究[J];苏州科技学院学报(自然科学版);2012年01期
10 高燕;张维维;张艳红;谢燕萍;苏凝;;最大熵模型在最长地点实体识别中的应用[J];广东石油化工学院学报;2012年04期
11 余正涛,樊孝忠;基于最大熵模型的汉语问句语义组块分析[J];计算机工程;2005年17期
12 冯冲;陈肇雄;黄河燕;王江伟;;最大熵模型的树-栅格最优N解码算法[J];计算机科学;2005年10期
13 陈雪天,李荣陆;使用最大熵模型进行文本分类[J];计算机工程与应用;2004年35期
14 刘贵全;曾宇斌;;基于最大熵模型的汉语依存分析[J];计算机工程;2006年11期
15 贾宁;张全;;基于最大熵模型的中文姓名识别[J];计算机工程;2007年09期
16 赵法兴;赵伟;;平滑的最大熵模型在汉语词性自动标注中的应用[J];长春工业大学学报(自然科学版);2007年02期
17 祁瑞华;杨德礼;胡润波;;基于特征缺失补偿最大熵模型的文本分类[J];情报杂志;2010年05期
18 于江德;李学钰;樊孝忠;庞文博;;最大熵模型的事件分类[J];电子科技大学学报;2010年04期
19 李可桢;黄日朋;;基于最大熵模型的英语词义标注[J];咸宁学院学报;2012年09期
20 李素建,刘群,杨志峰;基于最大熵模型的组块分析[J];计算机学报;2003年12期
中国重要会议论文全文数据库 前10条
1 赵伟;赵法兴;王东海;韩达奇;;一种基于改进的最大熵模型的汉语词性自动标注的新方法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 王素格;张武;李德玉;杨军玲;彭其伟;;基于最大熵模型的汉语动词与动词搭配识别[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
3 林红;胡欣;;最大熵模型的应用[A];新世纪气象科技创新与大气科学发展——中国气象学会2003年年会“地球气候和环境系统的探测与研究”分会论文集[C];2003年
4 李济洪;王凯华;王瑞波;;基于最大熵模型的中文阅读理解技术研究[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
5 李军辉;朱巧明;李培峰;;一个基于最大熵模型的文本分类方法[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
6 谷波;刘开瑛;;决策树模型和最大熵模型在文本分类中的比较研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
7 朱江涛;赵丽奎;蔡东风;;基于最大熵模型的中文姓名识别方法初探[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 刘方舟;施勤;陶建华;;基于最大熵模型的多音字消歧[A];第九届全国人机语音通讯学术会议论文集[C];2007年
9 王凯华;李济洪;张国华;王瑞波;;基于最大熵模型的中文阅读理解问答系统技术研究[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
10 游斓;周雅倩;黄萱菁;吴立德;;基于最大熵模型的QA系统置信度评分算法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
中国博士学位论文全文数据库 前1条
1 孙承杰;基于判别式模型的生物医学文本挖掘相关问题研究[D];哈尔滨工业大学;2008年
中国硕士学位论文全文数据库 前10条
1 王梦;基于主题情感纺一最大熵模型的观点挖掘研究[D];华中师范大学;2015年
2 周明震;最大熵模型的T-S模糊化[D];辽宁科技大学;2016年
3 李杰骏;数据挖掘方法在评论分类中的应用研究[D];广东工业大学;2016年
4 王煦祥;面向问答的问句关键词提取技术研究[D];哈尔滨工业大学;2016年
5 杨振磊;基于最大熵模型的智能提问系统研究[D];天津大学;2008年
6 贾丽洁;基于最大熵模型的分词技术研究[D];山东师范大学;2007年
7 刘大保;基于最大熵的智能提问系统及其在审计中的应用[D];哈尔滨工程大学;2013年
8 付琳;利用非广延最大熵模型进行文本分类[D];天津大学;2009年
9 步海慧;基于最大熵模型的中文姓名识别研究[D];山东大学;2006年
10 梅灿华;基于最大熵模型的迁移学习算法研究[D];合肥工业大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978