收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于蚁群算法的汉语自动分词的研究与实现

罗小虎  
【摘要】:汉语自动分词是中文信息处理领域中的基础课题,其中,歧义切分的消除是影响分词精度的关键问题。国内外很多学者在自动分词领域展开了富有成效的工作,但在提高分词精度上,仍然存在着很大的困难。 我们研究发现,对于汉语自动分词,首先,必须对影响分词精度的语言现象作针对性的研究,做到对问题的实质从总体上把握;其次,必需考虑分词算法的设计,建立分词模型,提高模型的计算能力;并研究在分词过程中提供更有效的语言信息的度量。 本文在分词建模过程中,启发于蚁群算法在解决一系列复杂组合优化问题中所表现出来的卓越性能,创造性地将蚁群算法模型运用到汉语自动分词问题中歧义字段的识别和切分上面,通过汉语句子在内存中表示的数据结构的设计,构造了我们的分词模型,以词频作为启发因子,巧妙的将纯粹分词问题转化为词的选择问题,并从计算的角度,分别以绝对减值法和后备法给出我们相应方案的详细设计。实验结果显示我们的基于蚁群算法的汉语自动分词方法是一个可行的解决方案。 在统一的语料测试集上,我们就本文分词算法和中科院计算所的汉语词法分析系统在歧义切分上做了一个全面的比较。并就分词知识从词频、语义信息层次上展开了讨论,作出了展望。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王锡江;王启祥;陈家骏;;基于邻接知识的汉语自动分词系统[J];计算机研究与发展;1992年11期
2 蒋斌;杨超;赵欢;;基于二字词位图表的汉语自动分词词典机制[J];湖南大学学报(自然科学版);2006年01期
3 吴东峥;;基于统计的开放式汉语自动分词[J];福建电脑;2009年03期
4 王希杰;赵晓凡;;浅谈汉语自动分词的几种方法[J];价值工程;2011年13期
5 殷建平;汉语自动分词方法[J];计算机工程与科学;1998年03期
6 刘迁;贾惠波;;中文信息处理中自动分词技术的研究与展望[J];计算机工程与应用;2006年03期
7 陈湘柳;;汉语自动分词理论对英语教学的启示[J];榆林学院学报;2010年01期
8 梁南元;书面汉语自动分词综述[J];计算机应用与软件;1987年03期
9 文庭孝,邱均平,侯经川;汉语自动分词研究展望[J];现代图书情报技术;2004年07期
10 邱均平,文庭孝,周黎明;汉语自动分词与内容分析法研究[J];情报学报;2005年03期
11 高红;黄德根;杨元生;;汉语自动分词中中文地名识别[J];大连理工大学学报;2006年04期
12 孙巍;;一种面向中文信息检索的汉语自动分词方法[J];现代图书情报技术;2006年07期
13 刘龙飞;陈斌;党荣;;基于CNET模型的无词典汉语自动分词算法研究[J];计算机应用与软件;2007年10期
14 陈斌;;基于数学设计的计算机自动分词算法[J];江西科学;2009年05期
15 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
16 刘挺,吴岩,王开铸;最大概率分词问题及其解法[J];哈尔滨工业大学学报;1998年06期
17 孙茂松,左正平,黄昌宁;汉语自动分词词典机制的实验研究[J];中文信息学报;2000年01期
18 周昌乐,秦莉娟;一种采用基于语境松弛算法的汉语分词排歧方法[J];厦门大学学报(自然科学版);2002年06期
19 熊回香;夏立新;;汉语分词技术综述[J];图书情报工作;2008年04期
20 王凡秀;王自强;;汉语自动分词技术研究[J];计算机与数字工程;2008年11期
中国重要会议论文全文数据库 前10条
1 孙茂松;;汉语自动分词研究及其应用:回顾与展望[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
2 孙茂松;;汉语自动分词研究的若干最新进展——清华大学相关工作简介[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
3 曲维光;;解决汉语自动分词的方法选择[A];第一届学生计算语言学研讨会论文集[C];2002年
4 陈晓;;中文文本自动分词研究述要[A];第四届全国语言文字应用学术研讨会论文集[C];2005年
5 贺前华;徐秉铮;;神经网络在汉语自动分词中的应用[A];第二届全国人机语音通讯学术会议论文集[C];1992年
6 侯敏;陈琼璜;初田天;李湛;王瑜;叶立;;汉语自动分词中的上下文相关歧义字段(CSAS)研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
7 庄丽;包塔;朱小燕;;盲人用计算机软件系统中的语音和自然语言处理技术[A];第七届全国人机语音通讯学术会议(NCMMSC7)论文集[C];2003年
8 杨超;李仁发;蒋斌;;一种高效的汉语自动分词词典机制[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
9 廉竹钧;;汉语组合型切分歧义字段消歧方法研究[A];第一届学生计算语言学研讨会论文集[C];2002年
10 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
中国博士学位论文全文数据库 前2条
1 贺前华;汉语自动分词及机器翻译研究[D];华南理工大学;1993年
2 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
中国硕士学位论文全文数据库 前10条
1 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
2 程晓静;自然语言处理在药物专利检索系统中的应用[D];大连理工大学;2004年
3 罗小虎;基于蚁群算法的汉语自动分词的研究与实现[D];苏州大学;2004年
4 代建英;汉语自动分词系统的研究与实现[D];重庆大学;2005年
5 胡可;基于人工免疫系统的信息过滤技术研究[D];西南交通大学;2006年
6 熊冬明;汉语自动分词和中文人名识别技术研究[D];浙江大学;2006年
7 潘景剑;具有中文人名识别功能的汉语自动分词算法研究[D];河北工业大学;2006年
8 唐培丽;基于语义的汉语文本主题词提取算法研究与实现[D];吉林大学;2005年
9 王广正;基于知网语义相关度计算的汉语自动分词方法的研究[D];云南师范大学;2006年
10 杨治秋;专题搜索引擎关键技术的研究[D];燕山大学;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978