属性多级化的非参数认知诊断方法及CD-CAT选题策略研究

【摘要】：认知诊断计算机化自适应测验(Computerized Adaptive Test for Cognitive Diagnosis,CD-CAT)建立在传统CAT的基础上,同时具有认知诊断功能。CD-CAT“因人施测,量体裁衣”,运用智能的选题策略,能快速而准确地估计被试知识状态。在实际教学和测验情境中,项目考察的认知属性往往包含多个水平层次,属性多级化的认知诊断评估应运而生。它不仅可以具体表示出项目测量的认知属性水平层次,还可以进一步考察被试具体掌握了认知属性的哪个水平层次,因此能提供详细的诊断信息,更具有实际应用价值和指导意义。目前的认知诊断评价所依托的认知诊断模型多为参数诊断模型,模型选用需满足一定的前提条件,其采用的参数估计方法复杂且存在缺陷。而非参数认知诊断方法只需提前界定好Q阵即可根据被试作答反应进行诊断分类,简单、便捷,能满足实际测验情境需要。本文基于聚类分析的思想,提出一种根据被试理想反应模式和实际反应模式进行诊断分类的认知诊断聚类诊断方法(Cluster Diagnostic Method for Polytomous Attribute,PACDM)。并将几种常用的CD-CAT选题策略引入属性多级化的CD-CAT中,并在pG-DINA模型这一一般性模型的框架下考察其在属性多级化认知诊断计算机化自适应测验中使用的可行性,同时比较了其在诊断正确率、题目曝光率和测验重叠率等方面的表现。研究结果表明:(1)相同的实验条件下,非参数方法的模式判准率和属性平均边际判准率高于参数方法。(2)当项目质量较低(较大的s和g参数)时,非参数方法较参数方法具有优势,且这种优势随失误水平的提高而扩大。(3)在模式判准率和属性平均边际判准率方面,PA-SHE和PA-MPWKL选题策略表现最好,PA-PWKL和PA-HKL选题策略表现次之,PA-KL选题策略表现最差。(4)题库安全性方面,PA-HKL和PA-PWKL选题策略表现最好,PA-KL选题策略表现次之,PA-SHE和PA-MPWKL选题策略表现最差。