收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

中文词义消岐研究

邓宾  
【摘要】:词义消歧是自然语言处理领域的核心问题。词义消歧的研究属于自然语言领域的基础研究,它可以应用于机器翻译、文本分类、自动文摘、信息检索、文本挖掘、语音识别、文语转换等,因此词义消歧研究在自然语言处理领域中具有重要的理论和实践意义。本文针对中文词义消歧技术做了一定的探讨,即如何克服单纯贝叶斯模型上下文范围过大?如何改变上下文对歧义词的影响程度是相同的?主要取得了以下几个方面的成果: (1)以《人民日报》语料为基础,选取了句子长度平均为30词,句子中歧义词的上下文不低于10个词,其中歧义词的义项来源于知网(HowNet),以人工标注方式构建了训练语料库,训练语料库包含句子5000左右,词语15万左右。 (2)提出了基于信息增益改进贝叶斯模型的词义消岐方法。该方法利用信息增益确定了歧义词上下文范围和不同位置上下文的权值,从而限制单纯贝叶斯模型上下文的范围,同时也改变了不同位置上下文对歧义词的影响程度。实验表明,该方法在封闭测试和开放测试的平均正确率分别达到了94.39%和87.13%。 (3)提出了结合信息增益及语法词典改进贝叶斯词义消岐方法。该方法利用《现代汉语语法信息词典》作为知识源,对于语料库中未出现或出现频率低的歧义词,通过词典中的属性特征获取消歧知识,是一种统计与规则相结合的方法。实验表明,该方法在封闭测试和开放测试的平均正确率分别达到了95.13%和90.87%。 (4)根据上述的研究成果,设计并实现了单纯贝叶斯模型词义消岐原型系统、基于信息增益改进贝叶斯模型词义消歧原型系统、结合信息增益及语法词典改进贝叶斯模型词义消歧原型系统。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 胡蓉;词义消歧方法初探[J];洛阳工业高等专科学校学报;2005年01期
2 郭池 ,陈家骏 ,王启祥;一种基于语料库的词义消歧策略[J];计算机工程与应用;2003年35期
3 全昌勤,何婷婷,姬东鸿,刘辉;基于义类的无导词义消歧方法的研究[J];计算机应用研究;2005年04期
4 荀恩东,李生,赵铁军;基于汉语二元同现的统计词义消歧方法研究[J];高技术通讯;1998年10期
5 李生;张晶;赵铁军;姚建民;;词义消歧研究的现状与发展方向[J];计算机科学;2001年09期
6 全昌勤,何婷婷,姬东鸿,刘辉;从搭配知识获取最优种子的词义消歧方法[J];中文信息学报;2005年01期
7 李纲;寇广增;;自举在词义消歧中的应用及其关键问题[J];情报学报;2010年01期
8 陈浩;何婷婷;姬东鸿;;基于MDL聚类的无导词义消歧[J];小型微型计算机系统;2005年10期
9 张明宝;马静;;一种基于知网的中文词义消歧算法[J];计算机技术与发展;2009年02期
10 陈笑蓉;秦进;;基于最大熵原理的汉语词义消歧[J];计算机科学;2005年05期
11 曲维光;陈小荷;董宇;穗志方;;基于语境计算模型的汉语词义消歧(英文)[J];广西师范大学学报(自然科学版);2006年04期
12 王瑞琴;孔繁胜;潘俊;;基于WordNet的无导词义消歧方法[J];浙江大学学报(工学版);2010年04期
13 金澎;;词义消歧和词义消歧评测简介[J];术语标准化与信息技术;2010年03期
14 张仰森;郭江;;四种统计词义消歧模型的分析与比较[J];北京信息科技大学学报(自然科学版);2011年02期
15 全昌勤,何婷婷,姬东鸿,刘辉;基于指示词的词义消歧方法[J];计算机工程;2005年16期
16 何婷婷;谢芳;;利用BP神经网络的中文词义消歧模型[J];华中师范大学学报(自然科学版);2005年04期
17 王博;杨沐昀;李生;赵铁军;;中文全词消歧在机器翻译系统中的性能评测[J];自动化学报;2008年05期
18 李辉;张琦;卢湖川;杨德礼;;基于知网的中文常问问答系统[J];计算机工程;2008年23期
19 刘商飞;张志祥;;基于改进的Bayes判别法的中文多义词消歧[J];计算机与数字工程;2009年10期
20 王达;张坤;;贝叶斯模型在词义消歧中的应用[J];计算机时代;2009年07期
中国重要会议论文全文数据库 前10条
1 吴崇斌;张全;;上下文边界可变的贝叶斯分类器词义消歧方法[A];第五届全国青年计算语言学研讨会论文集[C];2010年
2 张仰森;黄改娟;苏文杰;;基于隐最大熵原理的汉语词义消歧方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 张云涛;龚玲;王永成;;基于语料库的朴素贝叶斯方法的词义消歧[A];2005年中国智能自动化会议论文集[C];2005年
4 余晓峰;刘鹏远;赵铁军;;一种基于《知网》的汉语词语词义消歧方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 丁江伟;刘挺;卢志茂;李生;;隐马尔可夫模型和贝叶斯模型词义消歧对比研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
6 吴云芳;温珍珊;段慧明;俞士汶;;语料库粗粒度词义标注[A];第六届汉语词汇语义学研讨会论文集[C];2005年
7 何径舟;王厚峰;;基于特征自动选取的汉语词义消歧[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
8 秦颖;王小捷;;组合中文词义消歧[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
9 于丽丽;丁德鑫;曲维光;陈小荷;石民;;基于多分类器集成的古代汉语词义消歧[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
10 王菁华;刘建毅;王枞;;语义网络结构下的词义消歧[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 车超;知识自动获取的词义消歧方法[D];大连理工大学;2010年
2 涂锟;基于自然语言与记忆再重构的常识推理模型[D];华南理工大学;2010年
3 段建勇;多词表达抽取及其应用[D];上海交通大学;2007年
4 王菁华;文本中知识的获取[D];北京邮电大学;2008年
5 秦颖;汉语词和短语的歧义消解研究[D];北京邮电大学;2008年
6 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
7 王瑞琴;基于语义处理技术的信息检索模型研究[D];浙江大学;2009年
8 刘凯鹏;社会性标注关键技术及其在信息检索中的应用研究[D];哈尔滨工业大学;2010年
9 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
10 朱朝勇;基于本体的知识库分类研究[D];中国科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 栾博;基于句法树的中文词义消歧方法研究[D];哈尔滨理工大学;2014年
2 高宁宁;基于混合特征和规则的词义消歧研究[D];吉林大学;2014年
3 史俊冰;问答系统中词义消歧与关键词扩展研究[D];太原理工大学;2011年
4 李小贻;基于语义概念的词义消歧方法[D];华中师范大学;2013年
5 詹靓雯;基于知网的中文词义消歧研究[D];中国计量学院;2012年
6 魏晓亮;概念与属性约束知识抽取及其应用研究[D];北方工业大学;2013年
7 邓宾;中文词义消岐研究[D];昆明理工大学;2009年
8 万海旭;基于WordNet的词义消歧研究[D];吉林大学;2013年
9 陈浩;基于二阶上下文的无导词义消歧研究[D];华中师范大学;2005年
10 赵文静;基于维基百科的微博文本语义概念扩展研究[D];西安电子科技大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978