收藏本站
《山西大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

基于改进的隐马尔科夫模型汉语词性标注

王敏  
【摘要】: 汉语词性标注是中文信息处理技术中的一项基础性课题。一方面,它的研究成果可以直接融入到信息抽取、信息检索、机器翻译等诸多实际应用系统当中;另一方面,汉语自动词性标注也是汉语语块识别器、汉语句法分析器、汉语语义分析器必不可少的前端处理工具。因此,研究和实现汉语词性标注器具有重要的理论意义和实用价值。 词性标注的方法主要有基于规则和基于统计的两大类。由于基于统计的方法具有不需要人工总结语言学规则、正确识别率高等优点,已逐渐成为研究的热点。在基于统计的方法中,隐马尔科夫模型是最主要的算法模型之一。 在本文中,我们以汉语的词性自动标注为研究对象,提出了一种基于改进的隐马尔科夫模型汉语词性标注方法。该方法在原有隐马尔科夫模型的基础上,加入了更多的上下文信息,用于汉语词性的自动标注问题,取得了较好的效果。主要的研究内容有以下几方面: 1.虽然隐马尔科夫模型有很好的标注效果,但是它在对当前词词语出现概率的估计只与其词性有关。在分析前人工作和研究现状的基础上,本文提出了新的词汇概率估计方法,即:词的出现概率不但与它的词性有关而且与它的后词词性有关,使得改进后的隐马尔科夫模型更能体现词语的上下文依赖关系。 2.获得上下文信息的多少和数据平滑程度是评价统计词性标注模型性能的两个重要参数。本文详细介绍了现阶段几种平滑算法,针对该模型数据稀疏现象,采用性能稳定指数线性插值方法来平滑HMM的概率参数。 3.对HMM参数估计模型的修改,只是改进模型的第一步,为了更有效的使用训练所得到的参数,需要对Viterbi算法进行修改。由于传统的Viterbi算法不适合本摸型,所以对Viterbi算法进行了拓展。 4.对于自然语言来讲不存在完备的可计算的词性信息,如何确定未登录词的词眭是除兼类问题之外词性标注所面临的另一个关键问题。本文对未登录词处理提出了具体处理方法。 我们从《人民同报》语料中选取5万词次的文本进行开放测试,其实验结果表明该方法自动词性标注的召回率达到96.20%,准确率达到95.09%,从而证明基于改进的隐马尔科夫模型的汉语自动词性标注方法是有效的。
【学位授予单位】:山西大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 杨撼岳;陈笑蓉;郑高山;;水族文字笔形编码方法研究[J];计算机工程;2011年14期
2 彭成;季培培;;基于确定性退火的中文术语语义层次关联研究[J];计算机应用研究;2011年09期
3 张野;杨建林;;基于KNN和SVM的中文文本自动分类研究[J];情报科学;2011年09期
4 王伟;赵东岩;赵伟;;中文新闻关键事件的主题句识别[J];北京大学学报(自然科学版);2011年05期
5 顾潇华;姜亦强;崔涛;;中文自动标引、全文检索及中文搜索引擎三者关系的探讨[J];图书馆学研究;2011年17期
6 张尊生;;《信息技术 信息交换用汉字编码字符集 基本集的扩充》和《信息技术 数字键盘汉字输入通用要求》国家标准发布[J];中国标准导报;2000年03期
7 赵晓凡;胡顺义;刘永革;;CRF模型中参数f在字标注汉语分词中的适用性研究[J];郑州大学学报(工学版);2011年04期
8 申兵一;巩青歌;;中文分词技术在搜索引擎中的应用研究[J];计算机与网络;2010年01期
9 谭魏璇;孔芳;倪吉;周国栋;;基于混合统计模型的中文基本名词短语识别[J];计算机应用与软件;2011年08期
10 于江德;谷川;葛文英;樊孝忠;;一种基于字和子串联合标注的汉语分词方法[J];山西大学学报(自然科学版);2011年03期
中国重要会议论文全文数据库 前10条
1 ;中国中文信息学会交流材料[A];2011年网络学术交流研讨会交流材料[C];2011年
2 于江德;王希杰;樊孝忠;;汉语词法分析中上文和下文孰重孰轻[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 孙玉芳;;中文信息处理与国家信息化建设[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
4 陈文亮;朱靖波;吕学强;姚天顺;;词性标注规则的获取和优化[A];第一届学生计算语言学研讨会论文集[C];2002年
5 ;前言[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
6 刘春荣;;我国当务之急是解决中文书写方式的根本变革[A];中国中文信息学会汉字编码专业委员会第九届年会暨学术研讨会论文集[C];2011年
7 李毅;亢世勇;孙茂松;孙道功;;基于奥运语料的语义成分标注规范[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
8 李竹;;中文信息处理与现代汉语词类研究[A];世纪之交的中国应用语言学研究——第二届全国语言文字应用学术研讨会论文集[C];1998年
9 诺明花;张立强;刘汇丹;吴健;丁治明;;汉藏短语抽取[A];第五届全国青年计算语言学研讨会论文集[C];2010年
10 莫锦贤;马常楼;;文本文件转换成语音文件及其合成输出[A];第二届全国人机语音通讯学术会议论文集[C];1992年
中国重要报纸全文数据库 前10条
1 记者 梁捷;我国中文信息处理技术从实验室走向全面应用[N];光明日报;2009年
2 姚双云 华中师范大学语言与语言教育研究中心;虚词知识库:中文信息处理的基石[N];中国社会科学报;2011年
3 倪光南;活力重现的中文信息处理[N];计算机世界;2001年
4 齐悦;速记界泰斗唐亚伟 获中文信息处理领域最高科技奖[N];中国质量报;2006年
5 张波 龙雨;中文信息处理国际学术会议在武汉大学召开[N];中国社会科学院院报;2007年
6 记者 段佳;中文信息处理技术加速前行[N];大众科技报;2009年
7 记者 韩晓玲通讯员 张波 龙雨;海内外专家聚焦中文信息处理[N];湖北日报;2007年
8 本报记者 毛国兵 通讯员 岚宇;亚伟速录:实现中文信息处理产业化的自主品牌[N];中国贸易报;2008年
9 胡唯元;文字编码新标准:不再为“名”所累[N];科技日报;2006年
10 本报记者 关逸民;中文速录成为自主核心技术产业[N];中国信息报;2006年
中国博士学位论文全文数据库 前10条
1 宋春阳;面向信息处理的现代汉语“名+名”逻辑语义研究[D];上海师范大学;2003年
2 由丽萍;构建现代汉语框架语义知识库技术研究[D];上海师范大学;2006年
3 周卫华;面向中文信息处理的现代汉语动宾语义搭配研究[D];华中师范大学;2007年
4 詹卫东;面向中文信息处理的现代汉语短语结构规则研究[D];北京大学;1999年
5 李琼;汉语复句书读前后语言片段的非分句识别[D];华中师范大学;2008年
6 吕艳辉;基于语料库的现代汉语手部动词研究[D];山东大学;2008年
7 陈慧;基于DCC动态流通语料库的中文组织名考察与研究[D];北京语言大学;2008年
8 刘磊;概念内涵属性计算研究[D];上海交通大学;2011年
9 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
10 吴应良;网络计算中的智能信息处理方法研究[D];华南理工大学;2000年
中国硕士学位论文全文数据库 前10条
1 王敏;基于改进的隐马尔科夫模型汉语词性标注[D];山西大学;2007年
2 陶东成;基于Linux和XIM协议的中文输入法服务器的实现及其应用[D];苏州大学;2004年
3 罗忠毅;数字化中医古籍的理想模式及其相关问题研究[D];成都中医药大学;2005年
4 党兰学;汉字语法语义智能输入法总体设计与部分实现[D];河南大学;2006年
5 傅成宏;现代汉语兼语结构的自动识别[D];南京师范大学;2007年
6 白晓梅;校园网中文搜索引掣系统的设计与实现[D];吉林大学;2006年
7 曹林峰;中文文字差错率统计软件的实现[D];西安电子科技大学;2007年
8 刘桂梅;周有光语文改革思想研究[D];山东师范大学;2005年
9 张玉华;基于码本的输入法评测系统的设计和实现[D];苏州大学;2005年
10 杜莹;汉字语法语义智能输入法核心算法及实现技术[D];河南大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026