引进粒计算与形式概念分析技术的认知诊断研究

【摘要】：认知诊断因其能够提供被试的详细信息,继而进行有针对性的、有效的补救而受到广泛的关注。作为新一代测量理论的核心,认知诊断已有比较丰富的研究成果。诊断测验要想准确地获得被试的详细信息,认知模型和测验Q阵(简称Qt)的认定就是其中最基础也是最关键的部分,但是关于怎样修正测验Q阵和认知模型的研究仍然很少。好的测验Q阵应该准确表示认知模型。认知模型的确定,或等价的测验Q阵的确定,当然需要专家的宝贵知识,但这还不够,还需要能够通过观测到的项目反应数据进行推测和修正。因此本文引进粒计算和形式概念分析方法,通过对属性的细化和泛化来修正专家给出的认知模型和测验Q阵。 为了判断一个认知模型和测验Q阵是否需要修补,本文对现有的属性层级评价理论进行了补充,对评价指标层级相合性指数(HCI)进行了补充定义和拓展,开发了新的个人拟合指数NHCI,并进行了模拟实验以比较这两个指标在不同情况下的表现。为了更有效地发掘频繁模式(数据库中频繁出现的项集),本文使用NHCI对进位计数制诊断性测验的异常被试进行了删除。使用概念格将被试、项目和属性间的关系形象的表现出来,并在此基础上对该诊断测验的属性进行细化和泛化,推导它们之间的关联规则,据此修正进位计数制诊断性测验Q阵和认知模型。 经过系列研究,本文主要得到以下结论: (1)认知诊断中进行个人拟合指数的研究,首先应该对Qt矩阵进行考察,看其安排是否合理,即看其是否包含了理论可达矩阵(R阵)(即考察的这个测验蓝图是否是理论上预期的认知诊断蓝图),只有能推导出理论上预期的R阵的Qt阵才是安排合理的试卷。如果离开了对Qt矩阵的考察,那么整个测验可能是无效的,即使被试的个人拟合指数再高也不能实质上保证被试的反应与整个属性之间的层级关系是相符的,因为Qt没有充分提供诱发所有被试应用真实知识状态的机制。通过模拟实验一表明,测验Q阵的理论构想效度越高,被试的失拟程度越低,所以在对模型进行评价之前,先考察这个测验的理论构想效度是很有必要的,即对Qt阵的考察是认知诊断个人拟合研究中最基础最根本的工作。而Cui和Leighton(2009)的HCI指标的研究中并未对这一点加以关注。 Cui和Leighton(2009)的HCI指标在定义上有些不完善的地方,比如对某些被试无法计算HCI值,我们对其进行了完善,使其在数学定义上完整。 HCI指标是失拟数占比较总数的函数,而比较次数事实上可以有两种计算方法,Cui和Leighton(2009)只采用了一种计算方法。我们认为另一种比较也是需要清点的,因此对HCI指标进行了拓广,提出了考虑更全面的NHCI指标。对于离散型结构,NHCI减去HCI的差值(d)随着理论构想效度的下降而上升,新旧指标存在结合使用的价值。 (2)为了比较HCI和NHCI对失拟被试的侦测能力。我们按照Cui和Leighton(2009)的方法进行了模拟实验2。结果显示HCI和NHCI各有优势。对于创造型错误,NHCI比HCI表现更好;对于随机反应型失拟的侦测,HCI更有优势。对于模型错误型的失拟,在高区分度情况下HCI侦测准确率较好,在低区分度的情况下NHCI表现更好一点。 (3)HCI可以提供被试关于层级结构的失拟程度,但是被试失拟的原因是不清楚的,缺乏具体指向。这很大程度上是由于该指标并没有提供个体属于某个具体属性模式的可能性。考虑到这点,HCI、NHCI和模式分类结合,计算各类模式下HCI和NHCI的值,对其进行分析。本研究发现对于创造性错误,NHCI的侦测能力要优于HCI,而对于随机错误两种皆可。 (4)使用概念格清楚地表示进位计数制诊断性测验中被试、项目和属性之间的关系。 (5)为了更好地发现频繁模式,使用NHCI,对进位计数制诊断性测验的异常被试进行了删除,将152名被试删减了40人。 (6)对进位计数制诊断性测验进行了评价,理论构想效度是0.894,无论是HCI还是NHCI,被试的均值都未超过0.3,DINA模型的s和g参数也较高。可见进位计数制测验的认知结构和数据的拟合不好,有可能它的结构不合理。而回归分析结果显示回归不显著。属性中只有A7显著(因为所有项目都含有A1-A3,所以回归时被自动删除)。调整后的确定系数是0.252。因此,有必要对进位计数制测验Q阵和属性层级结构进行修正。 (7)对进位计数制诊断性测验的数据进行分析,在设定支持度的前提下,对项目之间提取关联规则,以此确定属性之间细化和泛化方案,改变属性的粒度。提出更改的属性层级,并对其进行评价。结果显示更新模型的HCI和NHCI均提升不少,整个模型的g参数均值下降到0.21,比原来的0.3有所降低。难度与属性回归显著,调整的确定系数由0.252大幅提升到0.894,各个变量回归系数均显著(A5属性在0.1水平上显著,其它属性在0.05水平显著)。可见更新的模型无论从哪个指标来说都较原来的模型好很多。 (8)发现进位计数制诊断性测验项目16的属性标定有误,并对其重新标定。结果显示HCI和NHCI均值都有所提升 以上(1)-(3)是理论研究,(4)-(8)是实证研究。