IRT和规则空间在文本分类中的应用研究

【摘要】：互联网和科学研究的高速发展,导致可利用的信息资源数量急剧增加,为了有效的组织利用这些资源,迫切需要对它们进行分类。这些信息中的大多数是以文本的形式表示,因而对文本自动分类的研究具有很强的实用性。 本文在项目反应理论(IRT)和规则空间理论的框架下,提出了一种新的文本分类方法——基于规则空间文本分类法。其基本思想是:基于训练集,选出类特征关键词集作为测试项目,将文本投射于关键词集,所得向量视为被试反应向量,全部文本向量为对应类的得分阵,根据此得分阵估计类关键词集的项目参数,定义该类的Tatsuoka规则空间模型;对于待分类的文档则可以根据训练所得的项目反应模型评价文本的作答情况,基于作答情况及训练所得Tatsuoka规则空间模型,判断文本分类结果。 为了提高分类的效果和速度,本文中提出了一种新的比较快速和高效的参数估计方法——最小化X~2/EM参数估计方法。蒙特卡洛模拟实验结果显示,此方法提高了估计对真值的恢复能力。 本文的创新点如下: 突破项目反应理论(IRT)的常规研究内容,将其应用到文本分类,探索IRT应用的新道路。实验表明,此方法具有比较好的召回率,分类训练时间短,但准确率有待提高。 提出了一种新的项目参数估计方法。实验表明,新方法不受项目数和被试人数的限制,即使在项目数很少时,参数估计的结果也比较稳定;能处理测验中含有少量特殊反应模式的参数估计;以估计值和真值之差的绝对值的平均值为指标,衡量估计值对真值的修复程度,其修复能力略高于国际同类流行软件。