信息检索中Markov网络图模型研究

【摘要】：随着因特网的快速发展和全球化进程的加快,互联网的信息资源呈爆炸式的增长。大规模信息的出现改变了传统的知识获取方式,使得互联网成为了人们获取知识的主要来源之一。如何在这些大量、异质、非结构化的海量信息资源中,快速有效地发掘其中蕴含的具有巨大潜在价值的有用信息,已成为当前需要迫切解决的重要问题。而信息检索则是应对这种挑战的关键技术,对于人们有效利用网络信息起着至关重要的作用,在最近二十年的时间里得到了众多的关注和长足的发展。 传统的信息检索模型已得到了广泛的应用,并且取得了极大的成功。但目前的信息检索研究仍然面临诸多困境,缺乏有效的解决办法。面对伴随着网络、计算机存储和运算设备日新月异的发展而日益庞大的网络信息资源,人们对信息检索技术的要求也日益提高,探索更为有效、性能更好的信息检索模型必将是研究的热点。 我们以随机过程理论为基础,将图模型应用于信息检索领域,区别于传统的信息检索建模方式,借助于Markov网络的表达能力和学习机制对数据集中的相关性信息进行建模,在此基础上构造文档模型,在统一框架下实现通用的信息检索模型和文本分类模型。本文的创新工作主要有以下几个方面： (1)基于Markov网络表示的信息检索模型的研究 信息检索中查询和文档相关的度量归根到底还是以词为单位,因此,词在检索中的重要性度量对检索的性能至关重要。但大多数模型在建模时,假定了词的重要性不依赖于查询,且词与词之间被认为是独立的,这使得检索的性能受到了极大的影响。此外,大部分信息检索模型都是基于查询这一端,有相当数量的工作对查询进行分析并提出了诸如查询扩展、相关性反馈等方法。但是,仅仅对查询进行分析是不够的,信息检索的目标是找到和查询相关的文档,这需要同时对文档进行分析以获得更好的文档模型并用于信息检索。 我们针对上述问题,利用Markov网络对词之间的相关性信息进行建模,构造了基于Markov网络表示的信息检索模型,探索相关性信息对信息检索模型性能的影响。在模型具体实现时,根据对Markov网络结构分析的程度,定义信息检索模型的构造规则,并遵循这组规则进行建模。所构造的模型具有很强的表达能力,首先,模型可以表示相关性信息,能获得更好的文档模型,并使得相关性信息和检索模型在统一的框架下建模；其次,模型能为多种特征函数建模,从而适应信息检索任务的具体特性。实验结果表明,基于Markov网络表示的信息检索模型可有效提高检索的性能。 (2)基于Markov网络表示的查询扩展及相关反馈模型的研究 词在检索中的重要性度量对检索性能有极大的影响,我们因此提出了“词的重要性”的概念。利用Markov网络表示词之间的相关性,使得词的重要性不仅包含了词在检索和查询中的重要性,还包含了词之间的相关性信息,对词的重要性的度量也更为准确。在此基础上,我们构造了基于Markov网络表示的查询扩展模型、文档扩展模型和相关反馈模型。 通过计算词的重要性,选择与查询最为相关的信息对查询进行扩展,在基于Markov网络表示的信息检索模型的基础上对重要的相关信息进行加权,可避免查询扩展模型和相关反馈模型出现“主题漂移”,并保证上述模型的检索性能。实验结果表明,查询扩展模型和相关反馈模型较好地提升了信息检索模型的性能。 (3)基于Markov网络表示的文本分类模型的研究 针对朴素贝叶斯模型和向量空间模型的特征独立性假设,将特征之间的相关性信息引入到文本分类模型中,提出了基于Markov网络的文本分类模型和基于Markov网络表示的文本分类模型。 基于Markov网络的文本分类模型首先为解决朴素贝叶斯模型的先验概率易受到数据集分布的影响这一问题,给出了一种新的先验概率估计方法。其次,利用特征之间的相关性信息修正特征的重要性,将相关性信息加入到文本分类模型中。基于Markov网络表示的文本分类模型,将文档表示为Markov网络,为特征之间的相关性信息建模,并通过计算Markov图之间的距离进行分类。实验结果显示这两种模型均可提高文本分类的性能。