汉语自动分词和中文人名识别技术研究

【摘要】：汉语自动分词和命名实体识别是自然语言处理和计算语言学领域中的重要 内容,它的研究和实现具有重要的理论意义和实用价值。随着计算机对大量真实 文本处理的迫切需要,对分词和命名实体识别的要求也显得日益迫切,由于它的 研究结果直接影响到语法分析、语义分析、语音识别、机器翻译、信息检索、信 息过滤等诸多领域的研究,因此,一直引起人们的关注。 同其它语言相比,汉语的自动分词和命名实体识别有其特有的难点。目前, 汉语自动分词和命名实体识别的处理结果还不尽如人意。本文对汉语自动分词和 作为命名实体识别子问题的中文人名识别这两个问题进行了研究,提出了统计方 法框架下汉语自动分词和中文人名识别模型。 具体的讲,本文做的主要工作是: 提出了一种将汉语分词、切分排歧、词性标注和人名识别完整集成的层次框 架。首先通过对文本中前位切分字和后位切分字的查找,将汉语自动分词问题归 约为对字段的切分问题。在粗切分阶段,基于N-best策略,将最大概率分词方 法产生的最佳N个结果作为候选集,作为下一阶段处理的评估对象,目的是尽 可能多的覆盖歧义字段,提高召回率。基于语言的词类具有相对稳定的分布这一 特征,我们结合了词的词性和词性间的搭配,应用HMM模型对N个粗分结果 进行评估,选取最优的一个结果作为分词的中间结果,中文人名的识别在这个中 间结果上进行。我们将构成人名的各个特征看作是一种词性,将其纳入整个词性 标注的过程中,利用HMM模型对分词的中间结果进行词性标注,最终在词性序 列中匹配出符合规则的中文人名。后续处理可得到最终的分词结果和词性标注序 列。 本模型层次分明,易于理解,实验表明,该模型也是一种行之有效的汉语分 词和中文人名识别方法。