收藏本站
《兰州理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

现代汉语自动分词歧义分析及其消歧处理研究

刘宽  
【摘要】:自然语言处理的目标之一就是找到一种方法把由简单词序列构成的句子中加上丰富的注释符号,使句子表达的含义从有结构标注的句子中比无结构信息标注的句子中更易于抽取出来。众所周知,汉语的句子是由字串构成的,词与词之间没有空格隔开。因此汉语的自动分词就成了汉语信息处理的第一步,同时也是后续的词性标注、句法分析和语义分析的基础。其中,分词歧义排歧和未登录词识别成为汉语自动分词的两大障碍,本文集中研究了分词歧义的特征与消歧处理。首先给出了汉语分词及其歧义类型的形式化描述;然后分别对两种主要分词歧义及其消歧处理做了详细的研究;最后给出了实验结果。对于组合型歧义,通过语料库学习到歧义字段的消歧规则列表并对其进行优化,然后用来纠正这些歧义字段的分词错误。与语言学专家总结的规则相比,自动学习到的规则更客观、更全面、更节省人力,是今后计算语言学研究的发展方向。对于交集型歧义,首先通过语料库学习到了每一类交集型歧义的消歧规则,然后用于纠正交集型歧义字段。同时也采用了最大概率算法和查表的方法对交集型歧义字段进行排歧,实验取得了较好的效果。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杨宪泽,谈文蓉,刘玉萍,撒晓英,宋建成,宁爱华;自然语言处理的一些方法研究[J];西南民族大学学报(自然科学版);2005年04期
2 李艳秋;李成城;;基于动态规划算法单字估价值的中文自动分词研究[J];内蒙古师范大学学报(自然科学汉文版);2010年02期
3 张培颖;李村合;;一种改进的上下文相关的歧义字段切分算法[J];计算机系统应用;2006年05期
4 董小芸,刘俊熙;自动分词在中文信息检索中的应用[J];情报杂志;2003年12期
5 黄崑,符绍宏;自动分词技术及其在信息检索中应用的研究[J];现代图书情报技术;2001年03期
6 岳涛;汉语自动分词技术的最新发展及其在信息检索中的应用[J];情报杂志;2005年04期
7 高洁羽,吕强,杨季文,钱培德;自动分词在输入法测试系统中的应用[J];电化教育研究;2003年02期
8 张辉;武亚红;黄润才;;基于规则和统计的汉语多输出切分系统[J];微电子学与计算机;2007年07期
9 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
10 魏晓宁;;基于隐马尔科夫模型的中文分词研究[J];电脑知识与技术(学术交流);2007年21期
11 王兰成;关于智能情报数据库系统的若干探索[J];情报理论与实践;1990年01期
12 马光志,李专;基于特征词的自动分词研究[J];华中科技大学学报(自然科学版);2003年03期
13 史永刚;左志宏;;决策树在中文姓名信息提取中的应用研究[J];成都信息工程学院学报;2006年02期
14 刘禹孜,何中市;一种基于SVM和规则消除组合型歧义的算法[J];重庆大学学报(自然科学版);2005年10期
15 冯素琴;陈惠明;;一种自组织的汉语组合型歧义消歧方法[J];计算机工程与设计;2007年03期
16 徐进鸿,邵品洪,李明霞;情报检索数学模型及若干技术进展[J];现代图书情报技术;1990年03期
17 王彩荣;汉语自动分词专家系统的设计与实现[J];微处理机;2004年03期
18 杨宪泽;雷开彬;;自然语言理解的一些技术初步研究[J];云南民族大学学报(自然科学版);2006年02期
19 刘开瑛;现代汉语自动分词评测技术研究[J];语言文字应用;1997年01期
20 王彩荣,李晓毅,黄玉基;汉语自动分词系统的评价[J];微处理机;2003年05期
中国重要会议论文全文数据库 前10条
1 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
2 支流;段慧明;朱学锋;俞士汶;;中文缩略语知识库建设[A];第三届学生计算语言学研讨会论文集[C];2006年
3 白刚;张铮;丁宗尧;朱毅;;中文文本聚类在互联网搜索的研究与应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
4 刘群;张浩;白硕;;中文信息处理开放平台的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
5 支流;朱学锋;段慧明;俞士汶;;中文缩略语还原技术初探[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
6 刘开瑛;由丽萍;;汉语框架语义知识库构建工程[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
7 郑家恒;谭红叶;王兴义;;基于模式匹配的中文专有名词识别[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
8 葛诗利;陈潇潇;;中国EFL学习者自动作文评分探索[A];第三届学生计算语言学研讨会论文集[C];2006年
9 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
10 杨丽鹏;林世平;;基于关联规则和自然语言处理技术的概念间非分类关系的抽取[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
中国重要报纸全文数据库 前10条
1 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
2 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
3 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
4 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
5 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
6 沈建缘;洪小文:时尚科学家[N];经济观察报;2009年
7 记者 刘传书;微软在深圳设实验室[N];科技日报;2006年
8 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
9 ;开天辟地第一回[N];计算机世界;2002年
10 刘洁;SAS分析产品链增添“新成员”[N];科技日报;2008年
中国博士学位论文全文数据库 前10条
1 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
2 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
3 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
4 代印唐;基于语义网络的知识协作关键技术研究[D];复旦大学;2009年
5 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
6 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
7 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
8 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
9 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
10 屈刚;英汉双语短语对齐[D];上海交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 刘宽;现代汉语自动分词歧义分析及其消歧处理研究[D];兰州理工大学;2006年
2 柴晓丽;自动文摘技术的研究与应用[D];长春理工大学;2007年
3 马龙;基于条件随机域模型的中文地名识别的研究[D];大连理工大学;2009年
4 全昌勤;基于语料库的汉语词义消歧方法研究[D];华中师范大学;2005年
5 张峰;基于自然语言处理的自动文摘系统[D];电子科技大学;2006年
6 丁卓冶;中文命名实体识别的研究[D];大连理工大学;2008年
7 孙继明;基于知网的汉语词义消歧研究[D];国防科学技术大学;2007年
8 孙广庆;基于语义范畴扩展的词义消歧的研究[D];哈尔滨工程大学;2008年
9 侯丽敏;基于网络的智能答疑系统的研究与实现[D];河南大学;2005年
10 崔昌利;俄语简单句述谓VP的模式化及自动识别[D];黑龙江大学;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978