短文本相似度计算在用户交互式问答系统中的应用

【摘要】： 随着互联网的迅速发展和Web 2.0概念的提出,问答(Question Answering)系统逐渐成为一种新的信息检索技术。和传统的搜索引擎返回大量相关文档不同,问答系统直接返回给用户精确的答案,从而省去了用户从大量相关的文档中去寻找自己所需信息的时间。尽管如此,传统的自动问答系统仍然难以满足人们的需要,这是因为机器的理解能力有限,往往不能很好的理解人们提出的问题,因而难以产生令人满意的答案。正因为如此,用户交互式问答(User-interactive Question Answering,也叫社区问答)系统应运而生。和传统的自动问答系统不同,用户交互式问答系统给广大用户提供了一个基于互联网的平台,使得人们可以自由的在网上进行提问和回答,从而实现人与人之间的互相帮助。由于答案都是由人来提供,而人的理解能力远远强于机器,因而答案的质量相比自动问答就有了明显的提高。 短文本相似度计算在用户交互式问答系统中具有举足轻重的作用,因为问题和答案都是短文本的形式,进行问题和答案的处理必然要涉及到对问题及答案语义的理解及相似度的判断。短文本相似度计算在用户交互式问答系统中的应用主要包括常见问题自动问答、问题自动分类以及答案聚类。本文围绕这几方面的应用进行了深入研究,研究内容和创新之处如下： 首先,提出了一种基于语义空间计算问题相似度的方法来解决常见问题的自动问答。该方法通过系统累积的问题构造一个语义空间,将问题映射到该空间中计算问题相似度。通过语义空间,问题信息能够得到更好的表示,从而使得问题相似度的计算更加精确。此外,该方法还通过特征聚类去除了冗余信息,提高了计算效率。 其次,提出了一种新的基于相似度计算的问题自动分类的方法。该方法从累积的问题集中抽取出一些重要的词(Term)作为特征来构造一个特征空间并将每个类别用特征空间中的一个向量来表示。对于每个用户问题,首先也将其映射到特征空间中,然后计算问题和各个类别的相似度,最终将具有较高相似度的几个类别推荐给用户。此外,该方法还利用语义模板对问题中和主题相关的词进行识别并增加其权重,从而更好的表示了问题信息。 最后,提出了一种有效的对同一个问题的答案进行聚类的方法。该方法按照内容或语义将同一问题下的所有答案进行聚类。此外,还为每个类选出一个代表性的答案提供给用户,这样用户通过这些代表答案就能快速的把握所有答案主要的信息。该方法包含两个重要组成部分：答案相似度计算方法和聚类算法。对于答案相似度计算,提出了一种结合统计信息和语义信息的计算方法；对于聚类算法,提出了一种增长式的聚类算法来降低时间复杂度。