收藏本站
《北京工业大学》 2000年
收藏 | 手机打开
二维码
手机客户端打开本文

现代汉语分词系统通用性设计及切分歧义处理

娄(王廷)  
【摘要】: 现代汉语文本自动分词是中文信息处理的重要基石,为此提供 一个通用的分词开发接口是非常重要的。本文介绍了现在汉语分词 的现状,分析了分词系统的困难,提出了通用分词系统的目标,论 述了它的工作原理和设计方案,并初步实现了一个可用的原型系 统。本人在导师的指导下作为主要成员参加了通用分词系统的研制 工作,承担了其中语言学方面的研究和部分数据的整理,主要的数 据结构和算法的设计工作,歧义处理的研究,和相关的程序实现。
【学位授予单位】:北京工业大学
【学位级别】:硕士
【学位授予年份】:2000
【分类号】:TP391.1

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 罗智勇;宋柔;;现代汉语通用分词系统中歧义切分的实用技术[J];计算机研究与发展;2006年06期
中国硕士学位论文全文数据库 前1条
1 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
【参考文献】
中国期刊全文数据库 前3条
1 梁南元;书面汉语自动分词系统—CDWS[J];中文信息学报;1987年02期
2 何克抗,徐辉,孙波;书面汉语自动分词专家系统设计原理[J];中文信息学报;1991年02期
3 宋柔;关于分词规范的探讨[J];语言文字应用;1997年03期
【共引文献】
中国期刊全文数据库 前10条
1 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
2 吴华;徐甜;;机器翻译中源语分析的研究与探讨[J];安阳工学院学报;2006年02期
3 唐振民,靳从,杨静宇;档案文献主题词微机自动标引系统[J];兵工自动化;1993年02期
4 彭泽润;林思佳;;从两个国家标准看汉语的词[J];北华大学学报(社会科学版);2006年06期
5 王玉美,阮晓钢;基于人的语言认知行为的汉语文法分析专家系统[J];北京工业大学学报;2003年01期
6 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
7 张锋,樊孝忠;基于最大熵模型的交集型切分歧义消解[J];北京理工大学学报;2005年07期
8 祁峰;;单音节形容词和名词组合的选择性机制[J];长春师范学院学报(人文社会科学版);2009年03期
9 高东平;;基于类型论的汉语分词系统TTCS[J];重庆理工大学学报(社会科学);2011年08期
10 王小海;关于计算词典学[J];辞书研究;2003年05期
中国重要会议论文全文数据库 前10条
1 通拉嘎;赵小兵;;论蒙古语词素切分的实现[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 张俊萍;冯志伟;;CTT在汉语语法研究和教学中的应用[A];第六届汉语词汇语义学研讨会论文集[C];2005年
3 冯志伟;;确定切词单位的某些非语法因素[A];语言文字应用研究论文集(Ⅱ)[C];2004年
4 李晋霞;;面向计算机的“V_双+N_双”结构类型研究[A];语言文字应用研究论文集(Ⅱ)[C];2004年
5 张宝林;崔希亮;任杰;;关于“HSK动态作文语料库”的建设构想[A];第三届全国语言文字应用学术研讨会论文集[C];2004年
6 傅思泉;;机器词典中按韵分词及虚词问题[A];江西省语言学会第五届会员大会暨2002年学术年会论文集[C];2002年
7 贺前华;徐秉铮;;神经网络在汉语自动分词中的应用[A];第二届全国人机语音通讯学术会议论文集[C];1992年
8 孙茂松;;汉语自动分词研究的若干最新进展——清华大学相关工作简介[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
9 陈玉忠;李保利;俞士汶;兰措吉;;基于格助词和接续特征的藏文自动分词方案[A];第一届学生计算语言学研讨会论文集[C];2002年
10 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
中国博士学位论文全文数据库 前10条
1 屠晓;英文地址图像识别与翻译研究[D];华东师范大学;2011年
2 斯·劳格劳;现代蒙古语依存句法自动分析研究[D];内蒙古大学;2011年
3 王迈;语言形式化原理[D];上海外国语大学;2011年
4 浑洁絮;基于语义语言的英汉机器翻译研究[D];大连理工大学;2011年
5 何婷婷;语料库研究[D];华中师范大学;2003年
6 马红妹;汉英机器翻译中汉语上下文语境的表示与应用研究[D];中国人民解放军国防科学技术大学;2002年
7 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
8 达胡白乙拉;蒙古语基本动词短语自动识别研究[D];内蒙古大学;2005年
9 余传明;基于本体的语义信息系统研究[D];武汉大学;2005年
10 刘云峰;基于潜在语义分析的中文概念检索研究[D];华中科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 尹方园;“VA”动结式表层语义分析[D];湘潭大学;2010年
2 王玉丹;基于SVM的汉语依存句法分析研究[D];中国海洋大学;2010年
3 王有权;基于Web的智能答疑技术研究与实现[D];南京财经大学;2010年
4 何向真;多语言电子词典构建[D];西北民族大学;2010年
5 巫昌凯;企业知识库系统中复杂查询系统的设计与实现[D];华南理工大学;2010年
6 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
7 钟鸣;汉英事件名词比较[D];南昌大学;2010年
8 张庐颖;基于粗糙集的K-means研究[D];北京交通大学;2011年
9 蔡蕊;一种新的搜索引擎分词词典的研究[D];山东大学;2010年
10 戴霖;网络舆情信息挖掘关键技术研究与应用[D];浙江工商大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
2 黄德根,朱和合,王昆仑,杨元生,钟万勰;基于最长次长匹配的汉语自动分词[J];大连理工大学学报;1999年06期
3 刘挺,吴岩,王开铸;最大概率分词问题及其解法[J];哈尔滨工业大学学报;1998年06期
4 付国宏,王晓龙;汉语词语边界自动划分的模型与算法[J];计算机研究与发展;1999年09期
5 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
6 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
7 胡春静,韩兆强;基于隐马尔可夫模型(HMM)的词性标注的应用研究[J];计算机工程与应用;2002年06期
8 曹元大,贺海军,涂哲明,王琴;全文检索字索引技术的研究与实现[J];计算机工程;2002年06期
9 徐菁,张辉,陆汝占;汉语语料的切分标注加工系统[J];计算机工程;2003年09期
10 张华平,刘群;基于角色标注的中国人名自动识别研究[J];计算机学报;2004年01期
中国重要会议论文全文数据库 前1条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国博士学位论文全文数据库 前1条
1 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
中国硕士学位论文全文数据库 前8条
1 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
2 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
3 张丽静;规则与统计相结合的兼类词处理机制[D];大连理工大学;2002年
4 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
5 许林杰;中文文本分词研究[D];山东师范大学;2003年
6 刘东旭;在自然汉语中进行分词和词性标注[D];电子科技大学;2003年
7 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
8 梁以敏;基于统计的汉语词性标注方法的研究[D];大连理工大学;2004年
【二级引证文献】
中国期刊全文数据库 前10条
1 梁莹;肖健;李玥;;基于多引擎的印刷体汉字识别系统的设计[J];广西科学院学报;2011年04期
2 王硕;尤枫;山岚;赵恒永;;一种适用于专业搜索引擎的中文分词系统研究[J];计算机工程与应用;2008年19期
3 张劲松;袁健;;回溯正向匹配中文分词算法[J];计算机工程与应用;2009年22期
4 袁健;张劲松;马良;;二次回溯中文分词方法[J];计算机应用研究;2009年09期
5 乔维;孙茂松;;汉语交集型歧义切分字段关于专业领域的统计特性[J];中文信息学报;2008年04期
6 修驰;宋柔;;基于“固结词串”实例的中文分词研究[J];中文信息学报;2012年03期
7 修驰;宋柔;;基于无监督学习的专业领域分词歧义消解方法[J];计算机应用;2013年03期
8 张彩琴;袁健;;改进的正向最大匹配分词算法[J];计算机工程与设计;2010年11期
9 郑家恒;张剑锋;谭红叶;;中文分词中歧义切分处理策略[J];山西大学学报(自然科学版);2007年02期
10 胡阿明;王卫东;;中文分词歧义识别算法的优化[J];现代电子技术;2012年08期
中国重要会议论文全文数据库 前2条
1 梁莹;肖健;李玥;;多引擎印刷体汉字识别系统研发[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
2 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国硕士学位论文全文数据库 前10条
1 冯晶晶;面向软件测试领域的自动问答系统[D];河南理工大学;2010年
2 梁桢;基于尾字词典的逆向回溯中文分词技术研究[D];武汉工业学院;2010年
3 王荔;统计全切分中文分词系统的研究与实现[D];西安电子科技大学;2009年
4 林冬盛;中文分词算法的研究与实现[D];西北大学;2011年
5 任丽芸;搜索引擎中文分词技术研究[D];重庆理工大学;2011年
6 赵丽;基于双字哈希的PAT树词典机制的研究[D];哈尔滨工程大学;2011年
7 刘力;不良文本过滤系统的研究与实现[D];复旦大学;2011年
8 李静;基于微博广告发布技术架构的设计[D];北京邮电大学;2012年
9 胡晓博;面向特定领域的专业搜索引擎的架构与实现方法[D];哈尔滨工程大学;2007年
10 魏进;中文分词技术在公安信息系统中的应用研究[D];解放军信息工程大学;2007年
【二级参考文献】
中国期刊全文数据库 前2条
1 梁南元;书面汉语自动分词系统—CDWS[J];中文信息学报;1987年02期
2 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
【相似文献】
中国期刊全文数据库 前10条
1 赵晓凡;胡顺义;;基于正向最大匹配的汉语分词[J];安阳师范学院学报;2010年05期
2 干俊伟,黄德根;汉语介词短语的自动识别[J];中文信息学报;2005年04期
3 代红梅,黄忠全,张根保,王恕德,丰世林;ISO9000质量管理信息系统的通用性设计[J];重庆大学学报(自然科学版);2004年08期
4 陈明远,管汀鹭;打字能比说话更快——几种高速键盘的设计[J];自然杂志;1980年08期
5 唐亚伟;亚伟中文速录机的诞生与应用[J];中文信息;1994年05期
6 胡宜课;信息高速公路与中文信息处理技术[J];计算机工程;1996年S1期
7 张俊林;曲为民;杜林;孙玉芳;;跨语言信息检索研究进展[J];计算机科学;2004年07期
8 罗燕;中文信息检索系统中的自然语言理解技术研究[J];图书情报工作;2005年04期
9 谢谦;芮建武;吴健;;编码字符集标准及分类研究[J];中文信息学报;2006年05期
10 陈丹;李宁;李亮;;古文字的联机手写识别研究[J];北京机械工业学院学报;2008年04期
中国重要会议论文全文数据库 前10条
1 莫锦贤;马常楼;;文本文件转换成语音文件及其合成输出[A];第二届全国人机语音通讯学术会议论文集[C];1992年
2 单永明;;汉语文本的篇章结构及其标引算法的研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
3 陈晓;靳光瑾;黄昌宁;;基于字的分词方法的实验研究[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
4 ;中国中文信息学会交流材料[A];2011年网络学术交流研讨会交流材料[C];2011年
5 吴於人;倪忠强;王祖源;;论高校通用型课程教学网络系统的通用性设计[A];教育技术:信息化阶段新发展的研究[C];2007年
6 孙玉芳;;中文信息处理与国家信息化建设[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
7 陈文亮;朱靖波;吕学强;姚天顺;;词性标注规则的获取和优化[A];第一届学生计算语言学研讨会论文集[C];2002年
8 ;前言[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
9 刘春荣;;我国当务之急是解决中文书写方式的根本变革[A];中国中文信息学会汉字编码专业委员会第九届年会暨学术研讨会论文集[C];2011年
10 宋柔;;汉语文本检索软件CCRL[A];2004年辞书与数字化研讨会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 记者 梁捷;我国中文信息处理技术从实验室走向全面应用[N];光明日报;2009年
2 姚双云 华中师范大学语言与语言教育研究中心;虚词知识库:中文信息处理的基石[N];中国社会科学报;2011年
3 倪光南;活力重现的中文信息处理[N];计算机世界;2001年
4 齐悦;速记界泰斗唐亚伟 获中文信息处理领域最高科技奖[N];中国质量报;2006年
5 张波 龙雨;中文信息处理国际学术会议在武汉大学召开[N];中国社会科学院院报;2007年
6 记者 段佳;中文信息处理技术加速前行[N];大众科技报;2009年
7 记者 韩晓玲通讯员 张波 龙雨;海内外专家聚焦中文信息处理[N];湖北日报;2007年
8 本报记者 毛国兵 通讯员 岚宇;亚伟速录:实现中文信息处理产业化的自主品牌[N];中国贸易报;2008年
9 胡唯元;文字编码新标准:不再为“名”所累[N];科技日报;2006年
10 本报记者 关逸民;中文速录成为自主核心技术产业[N];中国信息报;2006年
中国博士学位论文全文数据库 前10条
1 宋春阳;面向信息处理的现代汉语“名+名”逻辑语义研究[D];上海师范大学;2003年
2 由丽萍;构建现代汉语框架语义知识库技术研究[D];上海师范大学;2006年
3 周卫华;面向中文信息处理的现代汉语动宾语义搭配研究[D];华中师范大学;2007年
4 丁博;蛋白质特异性分子相互作用的设计、筛选及应用[D];中国科学技术大学;2010年
5 詹卫东;面向中文信息处理的现代汉语短语结构规则研究[D];北京大学;1999年
6 曹荣光;区域供冷多级泵系统能效研究[D];天津大学;2011年
7 李琼;汉语复句书读前后语言片段的非分句识别[D];华中师范大学;2008年
8 郝立丽;汉语文本数据挖掘[D];吉林大学;2009年
9 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
10 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
中国硕士学位论文全文数据库 前10条
1 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
2 陶东成;基于Linux和XIM协议的中文输入法服务器的实现及其应用[D];苏州大学;2004年
3 罗忠毅;数字化中医古籍的理想模式及其相关问题研究[D];成都中医药大学;2005年
4 王敏;基于改进的隐马尔科夫模型汉语词性标注[D];山西大学;2007年
5 党兰学;汉字语法语义智能输入法总体设计与部分实现[D];河南大学;2006年
6 白晓梅;校园网中文搜索引掣系统的设计与实现[D];吉林大学;2006年
7 傅成宏;现代汉语兼语结构的自动识别[D];南京师范大学;2007年
8 曹林峰;中文文字差错率统计软件的实现[D];西安电子科技大学;2007年
9 刘桂梅;周有光语文改革思想研究[D];山东师范大学;2005年
10 张玉华;基于码本的输入法评测系统的设计和实现[D];苏州大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026