收藏本站
《山东师范大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

中文文本分词研究

许林杰  
【摘要】: 中文文本分词问题是中文信息处理的一个重要问题,这个问题解决的好坏将直接影响中文信息处理的发展前景。目前学术界主要采用计算机自动分词解决中文文本分词,但是这种方法不能完全解决分词问题,这是因为计算机自动分词不能彻底地解决歧义字段的切分。那么,歧义字段倒底有多少,有哪些表现形式,形成的原因又是什么。为了对这个问题有一个充分的认识,我们对计算机的自动分词中的歧义字段做了定量分析,研究了歧义字段的分类和形成原因。 论文分为六个部分: 一、研究背景及问题的提出 中文文本分词在中文信息处理中有重要的作用,中文信息处理必须解决中文文本分词问题。 二、研究现状及存在的问题 目前中文信息处理中利用计算机自动分词解决中文文本分词,虽然取得了一定的成果,但是计算机自动分词存在一个重要的问题就是不能彻底解决歧义字段切分。 三、研究内容和思路 为了全面认识歧义字段的切分问题,我们采用受限语言的研究方法,以《信息交换用汉字编码字符集——基本集》中的3,755个一级字为研究对象,以《信息处理用现代汉语常用词词表》为参考,以典范的现代白话文著作为语法规范,统计分析出歧义字段的数量、表现 形式及形成原因。 四、计算机自动分词中歧义字段的研究 在本部分,利用计算机程序设计,统计分析出《信息交换用汉字 编码字符集一基本集》中的3,755个一级字的构词现状和歧义字段 的数量。对歧义字段的表现形式从构成形式和语法关系上做了分类研 究,并研究了歧义字段的形成原因。 五、中文文本分词解决方法的展望 通过以上的分析研究,我们可以看到,利用计算机自动分词是不 可能完全解决歧义字段的切分问题的。解决分词问题只能另辟溪径, 可以从汉字文本分词连写和按照汉语拼音正词法书写中文文本这两 个角度着手研究分词问题。
【学位授予单位】:山东师范大学
【学位级别】:硕士
【学位授予年份】:2003
【分类号】:H085

手机知网App
【引证文献】
中国期刊全文数据库 前3条
1 唐明伟;卞艺杰;陶飞飞;;基于语义向量空间模型的文档检索系统研究[J];情报杂志;2010年05期
2 王开扬;;汉语的自动理解与汉语文本的改进[J];术语标准化与信息技术;2006年04期
3 刘忠宝;赵文娟;;个性化搜索引擎中用户兴趣模型的构建方法[J];计算机系统应用;2012年11期
中国硕士学位论文全文数据库 前10条
1 刘海涛;基于自然语言理解的中文搜索引擎[D];河北科技大学;2011年
2 彭黎文;用户可配置的搜索引擎的设计与实现[D];电子科技大学;2011年
3 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
4 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
5 廖继东;基于DotLucene网站全文搜索系统的实现[D];郑州大学;2007年
6 刘忠宝;个性化搜索引擎的研究与实现[D];北京工商大学;2007年
7 尹辉;基于Nutch的搜索系统的研究[D];电子科技大学;2008年
8 李华亮;个性化搜索引擎中兴趣学习方法的研究[D];暨南大学;2008年
9 姜雪;分词连写汉字文本对日韩留学生学习效率影响的量化研究[D];辽宁师范大学;2008年
10 许荣荣;中文文本自动分词技术与算法研究[D];郑州大学;2010年
【参考文献】
中国期刊全文数据库 前10条
1 苏培成;面向21世纪的中国语文现代化[J];北京大学学报(哲学社会科学版);2001年01期
2 冯志伟;汉字和汉语的计算机处理[J];当代语言学;2001年01期
3 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
4 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
5 黄祥喜;书面汉语自动分词的“生成——测试”方法[J];中文信息学报;1989年04期
6 姚天顺,张桂平,吴映明;基于规则的汉语自动分词系统[J];中文信息学报;1990年01期
7 梁南元;汉语计算机自动分词知识[J];中文信息学报;1990年02期
8 王永成,苏海菊,莫燕;中文词的自动办理[J];中文信息学报;1990年04期
9 何克抗,徐辉,孙波;书面汉语自动分词专家系统设计原理[J];中文信息学报;1991年02期
10 梁南元,刘源,沈旭昆,谭强,杨铁鹰;制订《信息处理用现代汉语常用词词表》的原则与问题的讨论[J];中文信息学报;1991年03期
【共引文献】
中国期刊全文数据库 前10条
1 杜道流;指称、陈述理论及其对上古语法研究的意义[J];安徽大学学报;2004年01期
2 姜红;;具体名词和抽象名词的不对称现象[J];安徽大学学报(哲学社会科学版);2009年02期
3 沙宗元;;实施《国家通用语言文字法》应注意处理好几个关系[J];安徽大学学报(哲学社会科学版);2011年01期
4 施发笔;试论《水浒传》介词避复的技巧[J];安徽教育学院学报;2002年04期
5 阮绪和;形名偏正结构的语法功能[J];安徽教育学院学报;2003年02期
6 陶振伟;;“拿”的语法化[J];安徽教育学院学报;2006年04期
7 樊友新;;从“被就业”看“被”的语用功能[J];合肥师范学院学报;2010年02期
8 冯鸣;英语表持续时段的for短语和汉语时量词语的比较[J];安徽广播电视大学学报;2001年02期
9 王有卫;;语素文字说质疑[J];安徽广播电视大学学报;2010年03期
10 柳国栋;;《论语》重叠词略论[J];安徽职业技术学院学报;2008年02期
中国重要会议论文全文数据库 前10条
1 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
2 赛依旦·阿不力米提;吐尔根·依布拉音;;基于规则与统计的维吾尔族人名识别研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 李影;付莉;;韩国中小学生“是”的错序偏误分析[A];语言与文化研究(第四辑)[C];2009年
4 李帅;黄玺瑛;董家瑞;;一种基于神经网络的特定文本信息提取方法[A];第十届中国科协年会论文集(一)[C];2008年
5 殷业;王清;李夏;;基于Globish的受限域英汉机器翻译系统研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
6 沈焕生;朱磊;;基于信息内容的关键词抽取研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
7 吕晓玲;;闽南方言南安话的类结构助词“得”、“说”、“伊”、“通”[A];福建省辞书学会第五届会员代表大会暨第十九届年会论文集[C];2009年
8 向晓雯;史晓东;曾华琳;;一个统计与规则相结合的中文命名实体识别系统[A];第六届汉语词汇语义学研讨会论文集[C];2005年
9 俞士汶;朱学锋;段慧明;张化瑞;;以词义为主轴的综合型语言知识库[A];第六届汉语词汇语义学研讨会论文集[C];2005年
10 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 陈佳;论英汉运动事件表达中“路径”单位的“空间界态”概念语义及其句法—语义接口功能[D];上海外国语大学;2010年
2 龙翔;中国英语学习者言语交际中语用失误之研究[D];上海外国语大学;2010年
3 胡文辉;语言评价理论的价值哲学研究[D];上海外国语大学;2010年
4 郭红;基于第二语言教学的汉语语气范畴若干问题研究[D];南开大学;2010年
5 魏芳;语言教育规划视角中的大学外语教育政策研究[D];南开大学;2010年
6 李滨;自然空间查询语言解译机制研究[D];解放军信息工程大学;2009年
7 杨先明;0-5岁汉语儿童语言发展的认知研究[D];武汉大学;2010年
8 彭懿;英汉肤觉形容词的认知语义研究[D];湖南师范大学;2010年
9 龙又珍;现代汉语寒暄系统研究[D];武汉大学;2009年
10 陈曦;基于子串的文本分割与主题标注研究[D];武汉大学;2009年
中国硕士学位论文全文数据库 前10条
1 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
2 宋婷婷;元认知策略在山东科技大学英语口语学习中的实证研究[D];山东科技大学;2010年
3 罗义兵;领域文本相似度计算方法研究[D];山东科技大学;2010年
4 黄雪;俄汉语词汇理据性对比研究[D];哈尔滨师范大学;2010年
5 马晶晶;表人名词类词缀“X手”、“X者”、“X员”分析比较[D];辽宁师范大学;2010年
6 乌晓丽;“X+—N比—N+VP”表义功能新探[D];辽宁师范大学;2010年
7 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年
8 刘婧一;元代笔记分词理论与实践[D];广西师范学院;2010年
9 周军;洪迈笔记语言分词理论与实践[D];广西师范学院;2010年
10 曹萍;府城官话研究[D];广西师范学院;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
2 彭泽润,周纯梅;汉语需从“字式书写”到“词式书写”‘的改进——“汉字书写系统改进学术研讨会”综述[J];北华大学学报(社会科学版);2004年06期
3 曹德和;;中文分词连写的问题与对策[J];北华大学学报(社会科学版);2006年01期
4 王卫兵;;中文分词连写可行性考察[J];北华大学学报(社会科学版);2006年01期
5 王开扬;;汉语的自动理解与汉语文本的改进[J];北华大学学报(社会科学版);2006年03期
6 吴文超;;中文需要分词连写[J];北华大学学报(社会科学版);2007年05期
7 董明,吕嵛辉;两种信号系统"学说与对外汉语教学[J];北京师范大学学报(人文社会科学版);2002年06期
8 崔蔚,李安志,徐永红;一种基于B/S结构的签字实现方案[J];成都信息工程学院学报;2005年03期
9 冯志伟;汉字和汉语的计算机处理[J];当代语言学;2001年01期
10 黄德根,朱和合,王昆仑,杨元生,钟万勰;基于最长次长匹配的汉语自动分词[J];大连理工大学学报;1999年06期
中国重要会议论文全文数据库 前1条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国博士学位论文全文数据库 前1条
1 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
中国硕士学位论文全文数据库 前10条
1 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
2 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
3 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
4 张丽静;规则与统计相结合的兼类词处理机制[D];大连理工大学;2002年
5 马东坡;Internet中文智能搜索引擎汉语自动分词系统设计[D];广西师范大学;2002年
6 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
7 刘文涛;信息处理用同音同形词研究[D];山东师范大学;2003年
8 陈波;中文统计自然语言处理隐马模型的研究[D];重庆大学;2003年
9 刘东旭;在自然汉语中进行分词和词性标注[D];电子科技大学;2003年
10 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
【二级引证文献】
中国期刊全文数据库 前10条
1 何晓彦;黄家琳;;中文口语开放域问答系统中问句分析处理方法的研讨[J];北京工商大学学报(自然科学版);2007年06期
2 曹一冰;华一新;汪军;王关军;;基于DotLucene的全文检索及其在GIS中的应用[J];测绘工程;2011年06期
3 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期
4 杨震;夏艳;陈晓勤;;适合话音服务平台的结构化小文本搜索引擎的研究[J];电信科学;2011年12期
5 尹江;尹治本;黄洪;;网络爬虫效率瓶颈的分析与解决方案[J];计算机应用;2008年05期
6 江婕;李建民;曾勍炜;林振荣;;一种基于聚类和用户行为分析的搜索引擎结果优化方法[J];计算机与现代化;2008年10期
7 江婕;李建民;曾勍炜;;基于模式推荐的个性化搜索引擎研究[J];计算机与现代化;2010年05期
8 江婕;李建民;曾勍炜;;基于用户反馈的个性化搜索引擎的研究[J];计算机与现代化;2010年06期
9 马昌威;邵莉;;一种融合本体与粗糙集的文档相似度计算方法[J];计算机与现代化;2012年10期
10 陈诚;;基于云计算的智慧城市垂直搜索技术研究[J];软件产业与工程;2012年04期
中国硕士学位论文全文数据库 前10条
1 梁桢;基于尾字词典的逆向回溯中文分词技术研究[D];武汉工业学院;2010年
2 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
3 孙久舒;基于内容关联的政府网站信息服务模型研究[D];吉林大学;2011年
4 鱼健榕;基于Nutch的搜索引擎系统的研究与实现[D];北京邮电大学;2011年
5 刘凤灵;基于Nutch的漏洞垂直搜索引擎[D];北京邮电大学;2011年
6 陈淑华;企业短信互动系统设计及实现关键技术研究[D];中南大学;2011年
7 叶海;分布式主题搜索引擎的研究与实现[D];华南理工大学;2011年
8 龚真平;基于web文献的数据挖掘研究应用[D];西南交通大学;2011年
9 徐小乐;搜索引擎个性化检索及用户推荐功能的设计与实现[D];重庆交通大学;2011年
10 章谨麟;基于PubSubHubbub协议的Hub服务器的设计与实现[D];华中科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
2 郝恩美;;语词词典如何处理语素问题——从《简明汉英词典》谈起[J];辞书研究;1989年01期
3 张拱贵;吴晓露;;常用词表编制中的若干问题[J];辞书研究;1989年06期
4 冯志伟;;Martin Kay的功能合一语法[J];国外语言学;1991年02期
5 冯志伟;汉字和汉语的计算机处理[J];当代语言学;2001年01期
6 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
7 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
8 冯志伟;;形式语言理论[J];计算机科学;1979年01期
9 王晓龙,王开铸;声音语句输入的研究[J];计算机学报;1994年02期
10 梁南元;书面汉语自动分词综述[J];计算机应用与软件;1987年03期
中国重要会议论文全文数据库 前1条
1 俞士汶;;计算语言学的应用研究与基础研究[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
【相似文献】
中国期刊全文数据库 前10条
1 辛红;通过比较讲清语法概念[J];雁北师范学院学报;1994年04期
2 罗小强,王仁华;汉语音节全分词算法[J];中国科学技术大学学报;1995年02期
3 匡世玉,蔡德全;分词(Participle)用法点滴[J];自贡师范高等专科学校学报;1997年02期
4 路式成 ,罗兴伟;英语名词(代词)+“-ing”分词复合结构[J];解放军外国语学院学报;1981年01期
5 周光华;;-ed分词的功能[J];英语知识;1998年07期
6 许国强;论英语“反向心理动词”[J];解放军外国语学院学报;1993年06期
7 惠芡;英语“特殊被动语态”浅探[J];南都学坛;1995年02期
8 朱福荣;内地与香港部分词语对照[J];中国工商;1997年10期
9 张彻;浅议动词中分词的介词作用[J];内蒙古科技与经济;2002年09期
10 石凯民;;不能作定语的第二分词[J];德语学习;2007年03期
中国重要会议论文全文数据库 前10条
1 徐幸;王厚峰;;中文文本蕴含的推理模型[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 齐攀;陈晓云;;一种基于统计信息的无字典中文文本特征提取算法[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
3 郑天宏;许杭杰;董黎刚;;中文文本抄袭检查技术的研究[A];浙江省电子学会2010学术年会论文集[C];2010年
4 徐润华;陈小荷;;一种利用注疏的《左传》分词新方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 李怡平;吴飞;;多语言环境下的分布式互联网分词平台[A];第十六届全国数据库学术会议论文集[C];1999年
6 赵伟;路永刚;吴琼;;一种新的基于BMM和RMM分词方法的研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 李晶;陈鄞;杨沐昀;徐冰;;关于在分词系统中引入领域词典的研究[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 曹娟;周经野;;隐式分词连写输入方法——解决汉语分词问题的根本途径[A];第二届全国学生计算语言学研讨会论文集[C];2004年
9 肖志文;陈伟;梁久祯;雷彬;;基于LZW算法的中文文本压缩算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
10 通拉嘎;;汉、蒙、藏、维分词与词性标注技术发展现状研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 中国社科院法学所研究员 刘仁文;国际公约中文文本的纠错与重译[N];法制日报;2008年
2 吴子桐;整理英文国故,说明真实中国[N];中华读书报;2010年
3 赛迪评测计算机外围设备实验室;支持无线打印[N];中国计算机报;2003年
4 ;健康、成本兼顾[N];中国计算机报;2004年
5 高岚;海量在线做搜索引擎“卖水人”[N];中国计算机报;2004年
6 陆元婕;聪明的搜索引擎[N];中国计算机报;2001年
7 本报记者 侯闯;让企业不再“眼花”[N];计算机世界;2003年
8 赛迪评测硬件评测事业部计算机外设实验室;“精”工出“细”活[N];中国计算机报;2003年
9 记者 齐泽萍;我省科技之花含苞待放[N];山西经济日报;2002年
10 赛迪评测外设测试实验室;Canonxnu i320喷墨打印机[N];中国计算机报;2002年
中国博士学位论文全文数据库 前10条
1 李南希;非特定人的自然书写脱机中文文本行识别[D];华南理工大学;2010年
2 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
3 徐迎晖;文本载体信息隐藏技术研究[D];北京邮电大学;2006年
4 侯锋;中文报业出版的文字质量智能辅助控制技术研究[D];国防科学技术大学;2010年
5 朱聪慧;汉英动词次范畴相关技术的研究[D];哈尔滨工业大学;2009年
6 秦颖;汉语词和短语的歧义消解研究[D];北京邮电大学;2008年
7 孙晓;中文词法分析的研究及其应用[D];大连理工大学;2010年
8 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
9 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
10 颜端武;面向知识服务的智能推荐系统研究[D];南京理工大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈思;中文文本投诉信息自动分类系统研究[D];东北师范大学;2010年
2 许林杰;中文文本分词研究[D];山东师范大学;2003年
3 张海燕;基于分词的中文文本自动分类研究与实现[D];湖南大学;2002年
4 黄文江;中文文本聚类算法分析与研究[D];上海交通大学;2010年
5 党蕾;中文文本多粒度情感分类计算的研究[D];西北大学;2010年
6 孙丽华;中文文本自动分类的研究[D];哈尔滨工程大学;2002年
7 许荣荣;中文文本自动分词技术与算法研究[D];郑州大学;2010年
8 赵春红;外包数据库模型中文本数据完整性检测方案的研究[D];燕山大学;2010年
9 卢育红;半结构化药物数据智能分类技术研究与系统实现(全日制专业学位)[D];北京交通大学;2011年
10 郭瞳康;基于词典的中文分词技术研究[D];哈尔滨理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026