收藏本站
《中南大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hash结构的机械统计分词系统

杨彦  
【摘要】:中文分词作为中文信息处理的基础,已经吸引了众多国内外计算机专家的极大兴趣,同时也涌现出了许多中文分词系统。本文在综合比较分析了常用的机械分词方法和统计分词方法基础上,设计并实现了一个基于Hash结构的机械统计分词系统。 为使得机械分词方法和统计分词方法能有机结合,优势互补,最大发挥各自性能,本文在如下几方面作了深入研究:在机械分词阶段,将最大匹配长度的赋值方式由静态分配改进为动态分配,以减少不必要的匹配操作;将词频信息作为切分评估的另一标准,以弥补“长词优先”标准的不足;采用了Hash分词词典机制,以提高分词的效率。在统计分词阶段,为了提高统计操作的效率,对分词单位的概念进行了泛化,并把词频统计操作融合于机械分词操作,同时还采用了Hash表来存储词频统计的结果,从而提高机械分词速度。 在编程实现系统之后,对其进行了大量语料的测试。通过归纳统计、曲线拟合等方法对系统性能进行测试,发现该系统对不同领域、不同文本长度的语料进行分词操作都会表现出不同分词速度和准确度。当采用含词量不同的词典时,该系统表现出来的分词速度和准确度也有差异。所设计的系统分词速度达到了每秒一万两千个汉字以上,且具有较强的未登陆词识别能力。
【学位授予单位】:中南大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.1

【引证文献】
中国期刊全文数据库 前1条
1 张林曼;吴升;;地理编码系统中地名地址分词算法研究[J];测绘科学;2010年02期
中国硕士学位论文全文数据库 前3条
1 魏进;中文分词技术在公安信息系统中的应用研究[D];解放军信息工程大学;2007年
2 田占霄;中英文混合分词方法及应用研究[D];河北农业大学;2009年
3 石晶;DHCP协议在IPv6环境中的实现技术研究[D];华中科技大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 杜道流;指称、陈述理论及其对上古语法研究的意义[J];安徽大学学报;2004年01期
2 姜红;;具体名词和抽象名词的不对称现象[J];安徽大学学报(哲学社会科学版);2009年02期
3 施发笔;试论《水浒传》介词避复的技巧[J];安徽教育学院学报;2002年04期
4 阮绪和;形名偏正结构的语法功能[J];安徽教育学院学报;2003年02期
5 陶振伟;;“拿”的语法化[J];安徽教育学院学报;2006年04期
6 樊友新;;从“被就业”看“被”的语用功能[J];合肥师范学院学报;2010年02期
7 冯鸣;英语表持续时段的for短语和汉语时量词语的比较[J];安徽广播电视大学学报;2001年02期
8 王有卫;;语素文字说质疑[J];安徽广播电视大学学报;2010年03期
9 柳国栋;;《论语》重叠词略论[J];安徽职业技术学院学报;2008年02期
10 方群;;一种基于多线程的WEB/JXTA代理模型[J];安徽工程科技学院学报(自然科学版);2006年02期
中国重要会议论文全文数据库 前10条
1 李影;付莉;;韩国中小学生“是”的错序偏误分析[A];语言与文化研究(第四辑)[C];2009年
2 沈焕生;朱磊;;基于信息内容的关键词抽取研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
3 吕晓玲;;闽南方言南安话的类结构助词“得”、“说”、“伊”、“通”[A];福建省辞书学会第五届会员代表大会暨第十九届年会论文集[C];2009年
4 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
5 张银南;梅万龙;;基于Java的银行自助终端系统开发[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年
6 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
7 田长生;;浅谈《论语》中的复叠现象[A];江西省语言学会2005年年会论文集[C];2005年
8 阮绪和;;江西武宁(上汤)话的程度副词“死、几、蛮”[A];江西省语言学会2005年年会论文集[C];2005年
9 魏亮珍;;浅析《吕梁英雄传》中的“给”[A];江西省语言学会2006年年会论文集[C];2006年
10 周小婕;;数词研究综述[A];江西省语言学会2006年年会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 陈佳;论英汉运动事件表达中“路径”单位的“空间界态”概念语义及其句法—语义接口功能[D];上海外国语大学;2010年
2 郭红;基于第二语言教学的汉语语气范畴若干问题研究[D];南开大学;2010年
3 杨先明;0-5岁汉语儿童语言发展的认知研究[D];武汉大学;2010年
4 彭懿;英汉肤觉形容词的认知语义研究[D];湖南师范大学;2010年
5 龙又珍;现代汉语寒暄系统研究[D];武汉大学;2009年
6 陈曦;基于子串的文本分割与主题标注研究[D];武汉大学;2009年
7 李青;现代汉语把字句主观性研究[D];吉林大学;2011年
8 朱怀;概念整合与汉语非受事宾语句[D];吉林大学;2011年
9 王欣;汉日否定表达对比研究[D];吉林大学;2011年
10 莫启扬;语言中的时间性及其操作[D];西南大学;2011年
中国硕士学位论文全文数据库 前10条
1 黄雪;俄汉语词汇理据性对比研究[D];哈尔滨师范大学;2010年
2 马晶晶;表人名词类词缀“X手”、“X者”、“X员”分析比较[D];辽宁师范大学;2010年
3 乌晓丽;“X+—N比—N+VP”表义功能新探[D];辽宁师范大学;2010年
4 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年
5 刘婧一;元代笔记分词理论与实践[D];广西师范学院;2010年
6 曹萍;府城官话研究[D];广西师范学院;2010年
7 旷金辉;汉英名词前置修饰语语序对比研究[D];上海外国语大学;2010年
8 陶胜妃;现代汉语谓词修饰词前后位置比较研究[D];上海外国语大学;2010年
9 严伟剑;疑问代词“怎么”“怎样”“怎么样”对比研究[D];上海外国语大学;2010年
10 耿冰;“实现事件”结构词汇化模式的英汉对比研究[D];上海外国语大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 蒋景曈;刘若梅;姜作勤;曾澜;陈倬;;我国地理信息标准化政策研究[J];测绘科学;2008年01期
2 林鸿飞,战学刚,姚天顺;中文文本挖掘的特征导航机制[J];东北大学学报;2000年03期
3 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
4 江洲,李琦;地理编码(Geocoding)的应用研究[J];地理与地理信息科学;2003年03期
5 孙文胜;张园园;张晓晓;;DHCPv6 Relay报文转发功能实现研究[J];电子器件;2008年06期
6 马颖华,王永成,苏贵洋;一种在汉语文本中抽取重复字串的快速算法[J];电子学报;2002年S1期
7 王显芳,杜利民;一种能够检测所有交叉歧义的汉语分词算法[J];电子学报;2004年01期
8 刘禹孜,何中市;一种基于SVM和规则消除组合型歧义的算法[J];重庆大学学报(自然科学版);2005年10期
9 蔡勇智;;未登录词识别算法的改进[J];福建电脑;2006年03期
10 赵生慧,张林红,戴支祥;Linux环境下IPv6主机的地址自动配置研究[J];阜阳师范学院学报(自然科学版);2004年02期
中国硕士学位论文全文数据库 前10条
1 张作利;Linux下DHCPv6网络协议设计[D];浙江大学;2003年
2 王茂莉;下一代动态主机配置协议DHCPv6研究与协议实现[D];西南交通大学;2003年
3 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
4 王源媛;中文未登录名词短语的识别方法研究[D];重庆大学;2004年
5 肖绍斌;DHCPv6协议的研究与实现[D];西南交通大学;2005年
6 杨超;基于最大匹配的书面汉语自动分词研究[D];湖南大学;2004年
7 温滔;自适应歧义切分的汉语分词系统的设计与实现[D];苏州大学;2005年
8 代建英;汉语自动分词系统的研究与实现[D];重庆大学;2005年
9 刘禹孜;汉语自动分词中排除歧义字段算法的研究[D];重庆大学;2005年
10 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
【二级引证文献】
中国重要会议论文全文数据库 前1条
1 黄建华;常守锋;董晶晶;;面向北斗短报文的中文分词及压缩编码算法[A];第三届中国卫星导航学术年会电子文集——S02卫星导航信号体制及兼容与互操作[C];2012年
中国硕士学位论文全文数据库 前3条
1 唐静;城市地名地址的编码匹配研究[D];昆明理工大学;2011年
2 孙英;电子病历的XML存储检索关键技术研究[D];电子科技大学;2009年
3 许晓阳;层次型移动IPv6快速切换的研究与改进[D];华南理工大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 王荔;宋胜利;冯佳;陈平;;一种全切分与统计结合的分词系统[J];微电子学与计算机;2009年05期
2 赵艳红,费洪晓;一个基于改进的反序分词词典的中文分词算法[J];深圳职业技术学院学报;2004年04期
3 熊桂喜;李政;;基于规则和语料库的中文姓名识别研究[J];计算机与信息技术;2007年12期
4 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
5 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期
6 黄德根;焦世斗;周惠巍;;基于子词的双层CRFs中文分词[J];计算机研究与发展;2010年05期
7 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期
8 杨文涛;司应硕;张森;;GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;2010年04期
9 孙乐;方自金;;基于互联网的信息采集系统的设计与实现[J];河北大学成人教育学院学报;2010年04期
10 陈红英,李卫华;智能信息Agent的研究和实现[J];计算机工程与应用;2002年12期
中国重要会议论文全文数据库 前10条
1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
2 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 赵海;揭春雨;;基于子串标注的中文分词:寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
6 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
7 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
8 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
9 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
10 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国重要报纸全文数据库 前10条
1 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
2 本报记者 张彤;让计算机说中国话[N];网络世界;2004年
3 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
4 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
5 贺俊;汇聚亿万草根智慧 奇虎发布经验搜索[N];证券日报;2006年
6 记者 杨朝晖;医药搜索:不再“众里寻他千百度”[N];科技日报;2007年
7 张韬;谷歌推出“谷歌拼音”力拼百度[N];上海证券报;2007年
8 王翌;互联网2005:个性化生存[N];计算机世界;2005年
9 记者 李霆钧;国内首个“影视剧植入广告分析系统”出炉[N];中国电影报;2010年
10 王宾;加速争夺中国搜索市场[N];北京商报;2006年
中国博士学位论文全文数据库 前10条
1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
4 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年
8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
9 汤步洲;序列标注问题的监督学习方法及应用[D];哈尔滨工业大学;2011年
10 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年
中国硕士学位论文全文数据库 前10条
1 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
2 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
3 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
4 马莉;基于SVM的垃圾邮件过滤的研究[D];山东大学;2005年
5 王新梅;基于内容挖掘的垃圾邮件过滤技术[D];武汉理工大学;2006年
6 李培国;基于人工神经网的中文垃圾邮件过滤器的设计与实现[D];暨南大学;2007年
7 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年
8 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年
9 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年
10 孟美华;桌面搜索引擎的设计与实现[D];大连理工大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026