蒙古文信息检索模型的研究

【摘要】： 目前,Web已经成为人类知识和文明的全球存储库,这个存储库使得人类的信息在一个巨大的范围内实现共享。由于语言的独特性,现有的信息检索技术仍然缺乏对少数民族语言的研究,这严重阻碍了少数民族文化的传承和发展。蒙古文是世界上很有影响力的语言文字,因此蒙古文信息检索的研究具有非常重要的意义。 为了搭建一个具有较高查全率及查准率的蒙古文信息检索平台。我们从蒙古文的构词和语法等方面特点进行分析,设计了蒙古文索引项(Term)的处理方案,包括蒙古文Term的区分及Stemming规则的确定;分别采用TF、DF及EC三种方法确定了蒙古文停用词表;通过对主流信息检索模型的分析比较,找到比较高效的蒙古文信息检索模型,并对模型的平滑算法、Query结构化、蒙古文停用词表及Stemming规则等方面对蒙古文信息检索效果的影响进行了实验。 课题组收集了27345篇蒙古文语料,建立了信息检索测试,包括:集语料库、11个Topic及相关性文档。运用Indri搭建了基于语言模型与推理网络模型相结合的混合模型的实验平台。实验结果表明蒙古文停用词表在有效减少索引大小的同时,提高了检索的查准率,EC停用词表的效果最佳;蒙古文Stemming规则能大幅度减少Term个数,并有效提高检索的查全率;结构化语言模型比其它模型更适应蒙古文信息检索;确定了平滑参数,实验表明三种平滑算法均适合蒙古文信息检索,Jelinek-Mercer平滑算法的效果略优于其它平滑算法。