基于概率上下文无关语法的句法分析研究与实现
【摘要】:本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程。本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作。
然后介绍了句法分析的常用的分析方法,并对本文的基于概率的上下文无关语法的句法分析器所采用线图分析法作了重点介绍,分析了这种方法的原理以及优点。
本文的句法分析器是基于概率上下文无关语法的,这种方法是统计分析模型中比较成功的一种模式。在本文的第三章详细介绍了PCFG的排除句子歧义的原理,并用具体实例加以阐述。基于概率的分析,当然最重要的就是概率的提取问题,在本文的第四章给出了提取概率的详细算法及实例,解决了基于概率上下文无关语法的三个重要问题。即采用向内向外算法,在给定一部概率上下文无关语法的前提下,计算句子的概率;采用Viterbi算法,在给定一部概率上下文无关语法以及句子前提下,找出最为可能的分析树。采用向内-向外算法,为语法规则选择概率,使得训练句子的概率最大。
在对真实的句子进行句法分析的时候会遇到很多问题。本文第五章针对一些具体问题提出了一些解决方案,取得了一定的成效。主要有以下几个方面。
1)根据汉语,既缺乏形态变化,又缺乏作为句法标志的黏着成分的外在特征,本文采用了短语本位的思想。
2)针对汉语的具体特点,在本文中设计了预处理系统,系统利用特征词在对句子进行综合分析之前预测句子的句法结构,换句话说,预处理实际上是部分句法分析,它起着导引综合分析的作用,避免了不必要的计算。
3)在本文中针对基于统计句法分析中数据稀疏问题,采取了数据平滑技术,使该问题得以缓解。
4)在汉语中特定的句法范畴与特定词类之间的共现关系,在本文的句法分析器中,句法分析的歧义消解引入这类共现信息。即本文提到的制约法消歧,也就是利用句法、语义等制约条件排除不能满足制约条件的结构,从而达到消歧目的。
在第六章列出了本句法分析器实验结果,并与其它几种统计句法分析模型进行了比较分析。
最后,本文分析了本系统的存在的缺陷及一些改进措施。
|
|
|
|
1 |
龚纪文,许德如;利用Access97编制科技论文登记及统计数据库[J];华东地质学院学报;2001年01期 |
2 |
徐汀荣;统计查询完备化的算法设计与实现[J];微机发展;1992年03期 |
3 |
孔繁民,姬爱敏;统计中的查找计数方法[J];郑州轻工业学院学报(自然科学版);1992年03期 |
4 |
罗守进,冒晓斌;RAPD文献分布的探讨[J];农业图书情报学刊;1997年S1期 |
5 |
刘淑华,傅晓琴,张君晓;1995~1999年《华南理工大学学报》统计与分析[J];华南理工大学学报(自然科学版);1999年12期 |
6 |
罗永龙,殷治国;CBMS的性能及设计与开发[J];安庆师范学院学报(自然科学版);2000年01期 |
7 |
邓春燕;谈谈数据库多项目的快速统计[J];河池师专学报;2001年02期 |
8 |
易东,严中洪,王文昌;用Excel制作统计随机抽样教学课件[J];重庆工业高等专科学校学报;2002年02期 |
9 |
涂海青,黄孝群,张红亚;《常熟高专学报》引文统计分析[J];常熟高专学报;2002年05期 |
10 |
刘树梅;我国政府R&D经费投入状况研究[J];科技管理研究;2002年02期 |
11 |
谢从满,陈敬云;Protel在有线电视网络规划和管理中的应用[J];中国有线电视;2003年14期 |
12 |
陈敏,杨持;2002年福建省中医药查新课题统计与分析[J];情报探索;2003年04期 |
13 |
杨婷,唐月华,蔺蓉,樊光辉;Excel在医疗统计分析中的应用[J];中国医院统计;2003年04期 |
14 |
陈华,柳宏坤;用抽样调查法统计图书拒借率[J];现代情报;2003年11期 |
15 |
董佳;《情报理论与实践》(1997~2002)论文主题统计分析[J];现代情报;2004年02期 |
16 |
林寿;美国《数学评论》对中国师专论文评论的统计分析[J];怀化学院学报;1995年05期 |
17 |
费愉庆;数理统计分析在读者服务中的应用[J];苏州丝绸工学院学报;1998年04期 |
18 |
宋建业,李慧,王引乾;路局货运工作统计信息管理系统开发研究[J];铁路计算机应用;1998年04期 |
19 |
余英;我国11种地震学期刊的引文统计分析[J];新疆教育学院学报;1999年S1期 |
20 |
李惠芝;2000年《晋图学刊》载文分析[J];晋图学刊;2001年03期 |
|