基于语料库的汉语词义消歧方法研究

【摘要】：词义消歧研究在自然语言处理的许多应用领域中具有重要的理论和实践意义,是一个影响着自然语言处理领域中许多其他应用问题(如机器翻译、信息检索等)的“中间问题”。本文主要研究以语料库作为主要知识源的汉语词义消歧方法。本文的研究工作主要包括以下几个方面: 1、对词义消歧的相关研究方法,包括词义消歧的知识源和消歧方法的分类进行了综合评述,主要对基于语料库的词义消歧方法进行了详细的分析和比较。 2、提出了一种基于多分类器决策的词义消歧策略,该策略综合利用带标语料和未标语料动态的构造消歧分类器,极大的减少了有导词义消歧方法中对大规模带有词义标注语料库的需求,扩展了有导词义消歧方法的应用。 3、为了缓解有导词义消歧方法中人工标注语料的繁重劳动以及数据稀疏问题,我们选择词义指示词作为词义消歧特征,通过它们来表达词与词之间的组合关系,并采用一种统计的机器学习方法(基于种子优选的词义指示词获取方法)高效的从语料库中获取代表多义词各义项的指示词集,从而在一定程度上解决了由人工选择消歧初始知识所带来的主观性和知识获取的瓶颈问题。 4、基于词义指示词,设计并实现了一种基于语料库的半指导的词义消歧方法,该方法能够较有效的缓解有导词义消歧方法中人工标注语料的繁重劳动以及数据稀疏问题。并且对词义指示词这一重要的消歧特征对消歧的影响进行了分析与考察,为综合利用多种消歧特征进行词义消歧提供了一定的参考。