快速准确的计算机化认知诊断自适应测验选题策略

【摘要】：计算机化自适应测验(CAT)将计算机技术应用于心理与教育测量领域。较传统测验形式——“纸笔”测验形式,这类测验利用计算机智能地完成对被试特质的匹配、对项目“恰当”的选取,相同测验长度短时测验结果更精确。如果说CAT只是改变了测验形式,那么认知诊断(CD)的出现则彻底地改变了测验目的。认知心理学将对个体知识结构、加工技能或认知过程(均简称属性)的诊断称为认知诊断评估或认知诊断[1]。这类测验对个体认知结构进行深入剖析、详细探究被试“认知失误”,虽然还处于萌芽状态,但生机勃勃。带认知诊断功能的计算机化自适应测验(CD_CAT)结合了CD和CAT的原理和技术,用自适应的测验形式快速而准确地定位被试的知识状态,其功能更强,但实现起来也更复杂,特别是选题策略。它的好坏很大程度上直接影响着测验结果好坏、选题速度快慢、测验长短。因而对CD_CAT选题策略的研究就一直没有停止过。 本文的研究目的就是根据当前CD_CAT在实际应用中出现的问题,开展对CD_CAT选题策略的研究,寻找一种更快、更准的CD_CAT选题策略。本文引入期望判准率的概念,即被试i对项目j反应后,能够正确估计该被试知识状态的概率称为项目j对被试i的期望判准率。新选题策略如下:首先,在测验前将题库按项目属性模式(项目所考察的所有属性所组成的向量)分层,计算各层项目参数均值;然后,在测验时根据各层项目参数均值去寻找期望判准率最高的项目类;最后,从这个所选项目类中随机选取一个还未使用过的项目作为下一个施测题。 新方法中题库分层做法和在项目类中随机选题做法都可以有效地提高选题速度,而利用期望判准率选题做法则直接寻找到区分能力最好的项目。本文在计算项目的期望判准率时,采用数学建模的方法,先通过合理假设寻找简化模型下项目期望判准率的计算方法,然后再还原真实测验情形,计算真实测验中项目的期望判准率。 为了验证本文的新方法,本文通过Monte Carlo模拟,将本文新方法和测验精度比较高的香农熵、相对熵选题策略进行比较。实验结果表明,新方法选题速度更快,测量精度更高。