混合题型CAT选题策略的研究

【摘要】：计算机自适应测验(CAT)选题策略的研究很多,近年来,尤其是中国的学者,已经注意到多级计分项目在测验中的应用之广泛,对其选题策略的研究也更是成为热点,但是既有1、0计分又有多种等级计分的混合题型选题策略的研究几乎空白。混合题型测验在我国的各种测验中十分常见,不仅形式更容易被接受,还能提供更丰富的被试水平信息。本文通过蒙特卡洛模拟进行了两个研究,研究一,将三种经典的选题策略交叉组合运用于混合题型计算机自适应测验,共9种选题策略进行比较;研究二,在研究一的基础上提出一种新的适合于混合题型计算机自适应测验的选题策略。对选题策略的评价主要从测验对被试能力水平估计的准确性、稳健性和测验的安全性几个方面进行,本文选用平均偏差Bias、绝对平均偏差ABS、平均标准差RMSE、项目调用均匀性De和卡方统计量这五个指标,其中Bias、ABS用来评价能力估计的准确性,RMSE用来评级能力估计的稳健性,De和卡方统计量用以评价项目调用均匀性与项目曝光率,五个指标均是越小越好。模拟研究结果表明,常用的选题策略直接用于混合题型的计算机自适应测验时测验的精度和测验安全性的表现都不佳,最大信息量选题策略用于混合题型的计算机自适应测验中会获得一个极高的测验精度,但实际是牺牲巨大的测验安全性得到的一个虚假的精度,因为,在选题时等级更高的项目更有机会得到一个较大的项目信息量,从而该方法反复选取等级更高的项目,极大的威胁高等级项目的安全;同样,等级难度匹配选题策略也有同样风险,在混合题型计算机自适应测验中也更大几率的选择等级数更多的项目,而不顾项目的其他难度参数与区分度等,导致测验精度较低的同时,还威胁高等级项目的安全。因此,混合题型的选题策略必须考虑项目等级数的影响,本文所提出的新的选题策略能够很好的解决这个问题。新的选题策略不仅能保证测验能力水平估计的精度又能动态的管控各等级项目的分布,从而更好的控制项目曝光率和调用均匀性,测验更安全。