收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于中文树库的依存句法分析的研究与实现

肖睿  
【摘要】:基于树库和机器学习的方法是当前自然语言处理领域中的一个研究热点。在句法分析研究领域,经过句法标注的树库可以充当句法分析器获得语言知识的资源,同时也可以当作对句法分析结果进行评判的标准。近几年,对于依存句法分析性能的改进,研究人员主要从机器学习方法、分类特征和算法上入手,从树库的语言学标注方面也能对句法分析性能加以改善。 本文将哈尔滨工业大学依存树库作为语料资源,对树库的动词、名词及有关标点进行修改,从而实现利用语言学手段来提高句法分析性能的目的。论文采用基于决策式方法的MaltParser依存句法分析器进行依存分析实验,采用Libsvm对哈工大树库进行学习训练,训练集所需格式为国际会议CoNLL格式。为此,论文首先使用Java及DOM4J对哈工大树库XML格式进行解析,实现了XML向CoNLL格式的转换。其次,论文分别根据中科院词性标注体系和《信息处理用现代汉语词类标记规范》对树库动词词类进行细分,使每类动词担当的句法功能尽可能简单。第三,论文将树库中的人名、地名等八类名词全部合并为一类,观察名词词类合并对句法分析的影响。最后,标点顿号在句中一般充当并列连接的作用,论文将其当作连词进行处理。 本文分别将原树库和修改后的树库作为训练测试集,进行依存句法分析实验。结果表明,按照《信息处理用现代汉语词类标记规范》对树库动词进行细分并将其作为训练测试集,依存句法分析的准确率得到提高;同时在该树库的基础上,将顿号作为连词处理,所得的依存分析准确率进一步提高;名词词类合并对于句法分析准确率的影响不大,但在同等条件下,用SVM对数据进行训练,机器学习时间可以有效缩减。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 万建成;自然语言句法分析的有界深度控制和早期剪枝[J];软件学报;1995年06期
2 杨思春,陈家骏;汉语自动句法分析中结构歧义分析与研究[J];昆明理工大学学报(理工版);2005年02期
3 邵银波,贺玲,秦江敏;BMP神经网络在句法分析中的运用[J];空军雷达学院学报;2000年04期
4 段建勇;李俊;张梅;马礼;;限定领域的自动问答系统研究[J];北方工业大学学报;2010年01期
5 王鹏,戴新宇,陈家骏,王启祥;基于规则的汉语句法分析方法研究[J];计算机工程与应用;2003年29期
6 吴华;徐甜;;机器翻译中源语分析的研究与探讨[J];安阳工学院学报;2006年02期
7 亓超;张美娜;迟呈英;战学刚;;基于合一的链接文法[J];计算机应用与软件;2008年04期
8 王立群;;依存关系正确理解的基础上的日中翻译[J];电脑知识与技术;2009年28期
9 仲其智;姚建民;;低频词的中文词性标注研究[J];计算机应用与软件;2011年03期
10 王顺迁;叶大兴;;一个并行属性计值算法[J];同济大学学报(自然科学版);1990年04期
11 宋柔,王鑫;自然语言句法分析的顺序控制算法[J];软件学报;1992年02期
12 易蓉湘,何克抗;计算机汉语文稿校对系统[J];计算机研究与发展;1997年05期
13 顾晓东,余道衡,赵鹤鸣;利用CASSANDRA-Ⅰ神经计算机实现有限词汇连续语音识别[J];电子与信息学报;2002年07期
14 邹加棋;带有误差上限的句法分析方法[J];福建电脑;2003年12期
15 张亮;陈肇雄;黄河燕;马玉芝;;面向应用的汉语句法分析辅助系统的设计与实现[J];现代图书情报技术;2006年01期
16 姚双云;沈威;;关联词的搭配研究[J];计算机与现代化;2007年04期
17 杨晓恝;蒋维;郝文宁;;基于本体和句法分析的领域分词的实现[J];计算机工程;2008年23期
18 王燚;李中志;;基于期待类型的Chart句法分析算法[J];计算机应用;2009年05期
19 刘冬宁;汤庸;黄昌勤;汤娜;;时态查询语言的并发Lambek演算及范畴语法[J];智能系统学报;2009年03期
20 崔新波;张琳;;基于招生问答系统的中文依存句法分析[J];现代计算机(专业版);2010年05期
中国重要会议论文全文数据库 前10条
1 斯·劳格劳;华沙宝;萨如拉;;基于统计方法的蒙古语依存句法分析模型[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 陈鑫;车万翔;刘挺;;基于主动学习的中文依存句法分析[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 陈劲光;何婷婷;李芳;桂卓民;;基于概率和句法分析的中文句子修剪[A];第五届全国青年计算语言学研讨会论文集[C];2010年
4 王丹;姬东鸿;黄玮;;一种基于MIRA和遗传算法的句法分析模型构造方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 才藏太;;基于规则的汉藏机器翻译系统中二分法的句法分析方法研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 张晓甜;赵海;;基于树结构模式挖掘的非监督中文短语结构句法分析[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
7 赵铁军;李生;孟遥;黄玉;杨沐昀;;机器翻译系统中句法分析技术的研究实践[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
8 张浩;刘群;白硕;;结构上下文相关的概率句法分析[A];第一届学生计算语言学研讨会论文集[C];2002年
9 曹海龙;孟遥;李生;赵铁军;;一个改进的头驱动英语句法分析模型[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
10 胡凤国;;一个简单人机对话系统的实现方法[A];第一届学生计算语言学研讨会论文集[C];2002年
中国博士学位论文全文数据库 前10条
1 姚文琳;汉语依存句法分析方法的研究与实现[D];中国海洋大学;2009年
2 李正华;汉语依存句法分析关键技术研究[D];哈尔滨工业大学;2013年
3 杨潇;基于生成性概率模型的句法分析和多文档自动文摘研究[D];山东大学;2009年
4 斯·劳格劳;现代蒙古语依存句法自动分析研究[D];内蒙古大学;2011年
5 李军辉;中文句法语义分析及其联合学习机制研究[D];苏州大学;2010年
6 唐秀玲;论话题及其在汉语语法分析中的应用[D];上海师范大学;1997年
7 徐艳华;现代汉语实词语法功能考察及词类体系重构[D];南京师范大学;2006年
8 刘水;融入头—修饰词调序模型的短语统计机器翻译方法研究[D];哈尔滨工业大学;2011年
9 洪淼;现代汉语连动结构研究[D];南京师范大学;2004年
10 吴戈;基于数字水印的文本信息隐藏方法的研究[D];长春理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 皮晓峰;基于概率上下文无关语法的句法分析研究与实现[D];电子科技大学;2005年
2 刘琍;“程度副词+名词”的语义、语用和句法分析[D];四川师范大学;2005年
3 金天;论汉语及英语中否定歧义的消除[D];广东外语外贸大学;2007年
4 尹鹏;基于SVM的中文组块间依存关系分析[D];大连理工大学;2006年
5 张萍;现代汉语标语语法研究[D];南京师范大学;2006年
6 赵德玉;汉语句法分析技术及其在机器人辅助教育智能接口中的应用研究[D];天津师范大学;2004年
7 顾芸;名词短语移位的句法分析[D];南京师范大学;2006年
8 任晓娜;基于统计的汉语依存句法分析研究[D];沈阳航空航天大学;2011年
9 马学喆;依存句法分析的若干关键问题的研究[D];上海交通大学;2013年
10 陈豪;基于句法分析的商品评价情感倾向性分析[D];上海交通大学;2013年
中国重要报纸全文数据库 前9条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 李琨;IBM百度共拓企业搜索[N];中国计算机报;2006年
3 记者 潘竑;企业搜索:激活被遗忘的信息财富[N];金融时报;2006年
4 北京京华英语学校 张占杰;英语培训切勿陷入“名师”误区[N];北京人才市场报;2005年
5 本报记者 霍立峰;中科院免费大餐怎么吃[N];中国高新技术产业导报;2002年
6 ;语言信息处理呼唤知识应用[N];中国计算机报;2003年
7 清华大学外语系 许建平;2005年考研英语阅读、翻译备考要点[N];中国教育报;2004年
8 ;句法语文学科召开工作研讨会[N];中国社会科学院院报;2003年
9 高安市村前中学 龚铁梅;培养学生的英语自学能力[N];宜春日报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978