基于概率上下文无关语法的句法分析研究与实现
【摘要】：本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程。本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作。
然后介绍了句法分析的常用的分析方法,并对本文的基于概率的上下文无关语法的句法分析器所采用线图分析法作了重点介绍,分析了这种方法的原理以及优点。
本文的句法分析器是基于概率上下文无关语法的,这种方法是统计分析模型中比较成功的一种模式。在本文的第三章详细介绍了PCFG的排除句子歧义的原理,并用具体实例加以阐述。基于概率的分析,当然最重要的就是概率的提取问题,在本文的第四章给出了提取概率的详细算法及实例,解决了基于概率上下文无关语法的三个重要问题。即采用向内向外算法,在给定一部概率上下文无关语法的前提下,计算句子的概率;采用Viterbi算法,在给定一部概率上下文无关语法以及句子前提下,找出最为可能的分析树。采用向内-向外算法,为语法规则选择概率,使得训练句子的概率最大。
在对真实的句子进行句法分析的时候会遇到很多问题。本文第五章针对一些具体问题提出了一些解决方案,取得了一定的成效。主要有以下几个方面。
1)根据汉语,既缺乏形态变化,又缺乏作为句法标志的黏着成分的外在特征,本文采用了短语本位的思想。
2)针对汉语的具体特点,在本文中设计了预处理系统,系统利用特征词在对句子进行综合分析之前预测句子的句法结构,换句话说,预处理实际上是部分句法分析,它起着导引综合分析的作用,避免了不必要的计算。
3)在本文中针对基于统计句法分析中数据稀疏问题,采取了数据平滑技术,使该问题得以缓解。
4)在汉语中特定的句法范畴与特定词类之间的共现关系,在本文的句法分析器中,句法分析的歧义消解引入这类共现信息。即本文提到的制约法消歧,也就是利用句法、语义等制约条件排除不能满足制约条件的结构,从而达到消歧目的。
在第六章列出了本句法分析器实验结果,并与其它几种统计句法分析模型进行了比较分析。
最后,本文分析了本系统的存在的缺陷及一些改进措施。
【关键词】：线图 句法分析 统计 PCFG 【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2005
【分类号】：TP391.1
【目录】：
- 第一章 绪论11-17
- 1.1 自然语言处理11-14
- 1.1.1 自然语言处理概述11
- 1.1.2 自然语言处理所用技术和方法11-12
- 1.1.3 自然语言处理的主要应用12
- 1.1.4 自然语言处理的发展历程12-14
- 1.1.4.1 国外主要成果12-13
- 1.1.4.2 国内主要成果13-14
- 1.2 句法分析14-15
- 1.2.1 句法分析在自然语言处理中的地位14
- 1.2.2 句法分析发展历程和现状14-15
- 1.3 本文的主要工作15-17
- 第二章 句法分析17-27
- 2.1 句法分析概述17
- 2.2 句法分析的主要内容与功能17-18
- 2.2.1 主要内容17
- 2.2.2 主要功能17-18
- 2.3 句法分析的主要研究方法18-19
- 2.3.1 基于规则的方法18
- 2.3.2 基于统计的方法18-19
- 2.4 句法分析的分析策略19-20
- 2.5 线图分析法20-27
- 2.5.1 概述20
- 2.5.2 线图的表示方法20-21
- 2.5.3 线图分析算法21-23
- 2.5.4 算法分析实例23-27
- 第三章 基于概率的上下文无关的句法分析27-40
- 3.1 基于统计的句法分析27-29
- 3.1.1 概述27-28
- 3.1.2 统计句法分析中的概率模型28-29
- 3.2 语料库和统计句法分析的处理技术29-30
- 3.2.1 基本思想29
- 3.2.2 语料库的基本特征29
- 3.2.3 语料库具有的优势29-30
- 3.3 基于概率的上下文无关语法30-40
- 3.3.1 概述30
- 3.3.2 原理介绍30-32
- 3.3.3 实例32-34
- 3.3.4 PCFG 三个假设34-35
- 3.3.5 PCFG 排歧原理35-38
- 3.3.6 PCFG 与N 元模型和上下文法的比较38-40
- 3.3.6.1 与N 元语法模型比较38-39
- 3.3.6.2 与上下文无关语法的比较39-40
- 第四章 概率的提取40-49
- 4.1 三个基本问题40
- 4.2 向内算法40-41
- 4.2.1 算法描述40-41
- 4.2.2 实例41
- 4.3 Viterbi 算法41-43
- 4.3.1 算法描述41-42
- 4.3.2 实例42-43
- 4.4 向内-向外算法43-44
- 4.4.1 算法描述43-44
- 4.4.2 实例44
- 4.5 规则的概率提取44-49
- 4.5.1 概述44-47
- 4.5.2 算法的过程描述47
- 4.5.3 实验结果47-49
- 第五章 具体问题49-63
- 5.1 短语本位49-51
- 5.2 预处理问题51-55
- 5.2.1 预处理的目的和好处51
- 5.2.2 本系统所涉及的特征词词类51-52
- 5.2.3 附近词的属性的判定52
- 5.2.4 片语的优先权52-53
- 5.2.5 预处理算法53-54
- 5.2.5.1 算法描述53
- 5.2.5.2 预处理的流程图53-54
- 5.2.6 具体实例54-55
- 5.3 零概率问题55-57
- 5.3.1 问题的提出55-56
- 5.3.2 采用平滑技术解决零概率问题56-57
- 5.3.2.1 Good-Turing 平滑在PCFG 中的应用56-57
- 5.3.2.2 Good-Turing 平滑应用在PCFG 中的问题及改进57
- 5.4 制约法消歧57-61
- 5.4.1 概述58
- 5.4.2 制约消歧方法58-60
- 5.4.3 制约消歧框图60-61
- 5.5 句法分析器的流程图61-63
- 第六章 实验结果与分析63-68
- 6.1 实验前提63-64
- 6.2 实验结果64-65
- 6.3 与其它模型的性能比较65-68
- 6.3.1 评价方法65-66
- 6.3.2 两种基本模型的实现过程66
- 6.3.3 实验结果与分析66-67
- 6.3.4 两种模型的评价67-68
- 第七章 本系统的缺陷及改进68-71
- 7.1 规则和统计的结合68
- 7.2 上下文下相关68-69
- 7.3 在句法分析器中加入中心谓语动词的确定69-70
- 7.4 句法分析规则中嵌入语义分析排歧机制70-71
- 参考文献71-74
- 致谢74-75
- 攻读硕士期间的研究成果及发表的学术论文75
|
|
|
|
| 1 |
穗志方,俞士汶;汉语单句谓语中心词识别知识的获取及应用[J];北京大学学报(自然科学版);1998年Z1期 |
| 2 |
陆俭明;词的具体意义对句子意思理解的影响[J];汉语学习;2004年02期 |
| 3 |
周明，黄昌宁，张敏，白栓虎，吴升;统计与规则并举的汉语句法分析模型[J];计算机研究与发展;1994年02期 |
| 4 |
齐丙辰,大川善邦,高平;现代教育技术的新领域──机器人辅助教育[J];机器人技术与应用;2000年01期 |
| 5 |
陈宣,孔骏,陈玉泉,陆汝占;基于概率上下文无关文法的句法分析歧义消解新模式[J];计算机工程;2002年02期 |
| 6 |
蔡义发;自然语言理解的研究与发展[J];计算机应用与软件;1992年03期 |
| 7 |
杨晓峰,李堂秋,洪青阳;基于实例的汉语句法结构分析歧义消解[J];中文信息学报;2001年03期 |
| 8 |
龚小谨,罗振声,骆卫华;汉语句子谓语中心词的自动识别[J];中文信息学报;2003年02期 |
| 9 |
李国臣,孟静;利用主语和谓语的句法关系识别谓语中心词[J];中文信息学报;2005年01期 |
| 10 |
罗振声，郑碧霞;汉语句型自动分析和分布统计算法与策略的研究[J];中文信息学报;1994年02期 |
|
|
|
|
|
| 1 |
龚纪文,许德如;利用Access97编制科技论文登记及统计数据库[J];华东地质学院学报;2001年01期 |
| 2 |
徐汀荣;统计查询完备化的算法设计与实现[J];微机发展;1992年03期 |
| 3 |
孔繁民,姬爱敏;统计中的查找计数方法[J];郑州轻工业学院学报(自然科学版);1992年03期 |
| 4 |
罗守进,冒晓斌;RAPD文献分布的探讨[J];农业图书情报学刊;1997年S1期 |
| 5 |
刘淑华,傅晓琴,张君晓;1995～1999年《华南理工大学学报》统计与分析[J];华南理工大学学报(自然科学版);1999年12期 |
| 6 |
罗永龙,殷治国;CBMS的性能及设计与开发[J];安庆师范学院学报(自然科学版);2000年01期 |
| 7 |
邓春燕;谈谈数据库多项目的快速统计[J];河池师专学报;2001年02期 |
| 8 |
易东,严中洪,王文昌;用Excel制作统计随机抽样教学课件[J];重庆工业高等专科学校学报;2002年02期 |
| 9 |
涂海青,黄孝群,张红亚;《常熟高专学报》引文统计分析[J];常熟高专学报;2002年05期 |
| 10 |
刘树梅;我国政府R&D经费投入状况研究[J];科技管理研究;2002年02期 |
|
手机打开
快捷付款方式
订购知网充值卡
订购热线
帮助中心