收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

汉语依存句法分析方法的研究与实现

姚文琳  
【摘要】: 句法分析是自然语言处理研究中的关键技术之一,其任务是根据给定的语法,自动推导出句子的语法结构。它对于机器翻译、信息检索、信息抽取、文本分类和自动文摘等自然语言处理系统都有着极其重要的意义。 句法分析是依赖于某种语法理论的,在形式语法体系中,依存语法逐渐成为研究人员重视的热点。依存句法分析技术也不断得到发展和完善,并在英语等印欧语言中取得较好的研究成果。但目前为止针对汉语在依存句法分析方面的相关研究并不多见,汉语的依存分析研究成果与比印欧语言逊色得多。为此,本文采用基于统计理论的学习方法,针对汉语特有的语法特点,对汉语的依存句法分析方法进行了研究和探索。本文主要采用决策式的依存句法分析方法,解决了汉语句法分析中存在的一些问题。本文工作的主要贡献和创新点如下: 1.提出并实现了一种针对汉语长句的决策式分析方法CLDP。该方法针对汉语复杂长句句法分析存在的困难,考虑一种“分而治之”的处理策略,采用分层分析的方法,把复杂的句法分析问题分解为几个易于处理的子问题,以降低分析难度,提高分析效率。本文提出并实现了非贪婪的考虑长距离依存的决策式汉语分析方法N-CLDP。该方法利用汉语句子中根的唯一性对长句进行了分割。实现时,利用机器学习方法SVM设计了一种高效的根搜索器Root-Searcher,该根搜索器Root-Searcher可以标记出每个句子的根结点,依据根结点,句子被分割成两个子句。对子句分别进行依存分析后,进行子句的连接。把两个子句的根结点合二为一,合并两个子依存结构,从而得到长句的完整的依存结构。实验数据表明,本文构造的根搜索器Root-Searcher具有较高的准确性。在长句占的比例较大的训练集和测试集上,本文的方法达到了较好的分析性能,有效降低了句子的复杂度,显著地提高了句法分析器的准确率。 2.提出并实现了一种基于二段式的子句依存分析方法TSP。本文针对决策式依存分析中存在的Early-reduce问题,设计并实现了二段式的子句依存分析方法。该方法采用了有效的特征组合,利用二段分析,特征复用等手段有效解决了汉语右依存中动词与动词之间,以及动词与介词之间的VP Early-reduce问题,并且降低了算法的贪婪性。另外,本文提出并实现了子句的双向分析策略BSP。根据分割后句子的特点,以及汉语语言所具有的投影性特征,提出了采用向前分析和向后分析相结合的策略。在分析时将从前向后与从后向前两种分析方向结合使用。实验中将二段式句法分析策略与一次分析进行了性能比较,并考察了句法分析方向对于分析结果的影响。实验结果表明本文的二段式的子句依存分析方法TSP提高了句法分析器的性能。子句的双向分析策略BSP也比单向分析获得了更好的分析效率。 3.提出并实现了一种基于介词短语右边界的自动识别的依存句法分析算法RPP。根据介词短语的语用特征,提出一种对介词短语的后续词进行分析的方法,相应得到介词短语右边界的识别方法。通对过介词短语的分析,有效解决了决策式分析方法在分析介词短语时存在的缺陷。避免了分析介词在长距离依存时,由于过早比较、提前决策依存关系出现的错误。实验结果表明本文实现的基于介词短语右边界的自动识别的依存句法分析算法RPP对汉语的介词的长距离依存分析是有效的。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 玉素甫·艾白都拉;维语句法分析器中的词义排歧问题的研究[J];计算机应用与软件;2002年04期
2 邹加棋;带有误差上限的句法分析方法[J];福建电脑;2003年12期
3 李向宏,王丁,黄成哲,雷国华;自然语言句法分析研究现状和发展趋势[J];微处理机;2003年02期
4 孟遥;李生;赵铁军;杨沐昀;;基于统计的句法分析技术综述[J];计算机科学;2003年09期
5 徐健,张辉,蔡劲松;一种现代汉语句法分析方法的建立与实现[J];计算机应用与软件;2004年01期
6 陈晓明,周渝;汉语部分句法分析的研究和发展趋势[J];贵州大学学报(自然科学版);2004年04期
7 李幸;宗成庆;;引入标点处理的层次化汉语长句句法分析方法[J];中文信息学报;2006年04期
8 冀铁亮;穗志方;;词汇化句法分析与子语类框架获取的互动方法[J];中文信息学报;2007年01期
9 段湘煜;赵军;徐波;;基于动作建模的中文依存句法分析[J];中文信息学报;2007年05期
10 张小艳;邵刚;史月飞;;汉语句法分析中标点符号的运用[J];计算机工程与科学;2009年01期
11 刘海涛;赵怿怡;;基于树库的汉语依存句法分析[J];模式识别与人工智能;2009年01期
12 袁里驰;;基于词聚类的依存句法分析[J];中南大学学报(自然科学版);2011年07期
13 王卫平;孟翠翠;;基于句法分析与依存分析的评价对象抽取[J];计算机系统应用;2011年08期
14 马骥;朱慕华;肖桐;朱靖波;;面向移进—归约句法分析器的单模型系统整合算法[J];中文信息学报;2012年03期
15 郑伟发;;汉语句法分析研究综述[J];信息技术;2012年07期
16 陈豪;刘功申;黄晨;;基于句法分析的商品情感倾向性分析[J];信息安全与通信保密;2013年02期
17 吴伟成;周俊生;曲维光;;基于统计学习模型的句法分析方法综述[J];中文信息学报;2013年03期
18 王开铸;冯寅;;一个英汉机译实验系统句法分析机构的构造理论和实践[J];哈尔滨工业大学学报;1985年03期
19 宋柔,王鑫;自然语言句法分析的顺序控制算法[J];软件学报;1992年02期
20 张琳琳;王能忠;宋继平;;汉语句法分析中的核心推导[J];中文信息;1996年04期
中国重要会议论文全文数据库 前10条
1 李正华;车万翔;刘挺;;基于柱状搜索的高阶依存句法分析[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
2 李军辉;周国栋;朱巧明;钱培德;;一种改进的中文层次句法分析模型研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
3 张浩;刘群;白硕;;结构上下文相关的概率句法分析[A];第一届学生计算语言学研讨会论文集[C];2002年
4 冀铁亮;穗志方;;词汇化概率句法分析与动词子语类框架获取的互动方法[A];第三届学生计算语言学研讨会论文集[C];2006年
5 孙俊;曹海龙;赵铁军;;面向句法分析的样本选择[A];第三届学生计算语言学研讨会论文集[C];2006年
6 刘海涛;;影响依存句法分析的因素探讨[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
7 马骥;朱慕华;肖桐;朱靖波;;面向移进-归约句法分析器的单模型系统融合算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
8 庞文斌;张国煊;曹恬;;基于规则和统计的汉语浅层句法分析的研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
9 孙宏林;俞士汶;;浅层句法分析方法概述[A];世纪之交的中国应用语言学研究——第二届全国语言文字应用学术研讨会论文集[C];1998年
10 段湘煜;赵军;徐波;;基于动作建模的中文依存句法分析[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
中国博士学位论文全文数据库 前8条
1 姚文琳;汉语依存句法分析方法的研究与实现[D];中国海洋大学;2009年
2 李正华;汉语依存句法分析关键技术研究[D];哈尔滨工业大学;2013年
3 杨潇;基于生成性概率模型的句法分析和多文档自动文摘研究[D];山东大学;2009年
4 曹海龙;基于词汇化统计模型的汉语句法分析研究[D];哈尔滨工业大学;2006年
5 李军辉;中文句法语义分析及其联合学习机制研究[D];苏州大学;2010年
6 冯秋香;基于数据库语义学的古汉语句法语义分析研究[D];大连理工大学;2012年
7 林锋;问题回答和对话系统中置信度的研究[D];复旦大学;2008年
8 骆琳;面向计算机的现代汉语“得”字研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 王蕾;基于统计方法的汉语长句依存句法分析[D];中国海洋大学;2009年
2 邵刚;基于中文的句法分析系统的研究与实现[D];西安科技大学;2008年
3 沈超;基于转换的依存句法分析研究[D];复旦大学;2009年
4 黄鑫;基于句法分析的产品评论挖掘研究[D];北京邮电大学;2011年
5 赵德玉;汉语句法分析技术及其在机器人辅助教育智能接口中的应用研究[D];天津师范大学;2004年
6 孙俊;面向句法分析的样本选择[D];哈尔滨工业大学;2006年
7 耿向好;基于历史信息的中文多层次句法分析研究[D];苏州大学;2008年
8 任晓娜;基于统计的汉语依存句法分析研究[D];沈阳航空航天大学;2011年
9 郎文静;规则与统计相结合的汉语依存句法分析技术研究及其应用[D];沈阳航空航天大学;2012年
10 马学喆;依存句法分析的若干关键问题的研究[D];上海交通大学;2013年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978