收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

认知诊断评估中项目属性辅助标定方法研究

汪文义  
【摘要】:近来,结合认知科学和心理计量学的认知诊断评估,越来越受到国内外研究者的关注。大多数认知诊断评估以Q矩阵为基础,Q矩阵是认知诊断评估与传统项目反应理论之间最主要的区别。认知诊断评估是通过Q矩阵表达项目和属性的关联关系,建立起潜在知识状态和理想反应模式之间联系。Q矩阵也是认知心理学在认知诊断评估的一种体现。因此,Q矩阵在认知诊断评估中扮演着非常重要的角色。 项目属性的指定就是正确标识Q矩阵中的元素,是认知诊断评估中一个基本和关键步骤。Q矩阵通常由学科专家构建。Q矩阵的构建是一个不断反复的复杂过程,需借助口语报告、认知任务分析、文献调查和统计等方法。但是这些方法得到的Q矩阵却不能保证完全正确。研究表明,无论是对现有测验进行分析(测验后翻新的Q矩阵,事后分析),还是对认知诊断测验进行分析(测验之前建立Q矩阵,事前分析),正确指定Q矩阵都是一件困难的任务或者说是一种挑战。然而误指Q矩阵将对诊断结果产生不利的影响。 考虑到Q矩阵在认知诊断评估中的重要性和正确指定存在着困难,本文提出无监督式和有监督式两种属性辅助标定范式,主要包括三个研究。 研究一(论文第三部分),主要讨论形式概念分析用于属性标定的可行性并提出属性辅助标定方法。基于形式概念分析建立的属性辅助标定方法,它的基本假设是同类项目具有相同属性或属性集。由于属性事先未定义,所以用机器学习的术语来讲,它是一种“无监督学习”方式。由于被试作答中存在猜测或失误,导致由得分数据生成的概念格十分复杂且不容易理解,本研究采用稳定性指标过滤概念格的噪音,以获得简洁的概念结构,然后使用概念结构推断项目的属性。模拟研究显示,基于形式概念分析的属性辅助标定方法效果比较理想。 研究二(论文第四部分),提出项目属性在线标定方法。在线标定方法的基本思想是基于已标属性且已知项目参数的项目,估计新题属性。由于它是基于项目的已标属性信息,间接利用专家信息,因此它是以一种“有监督学习”方式进行属性标定。计算机化自适应诊断测验(CD-CAT)中在线标定是一个比较新的研究领域,题库结构对在线标定的影响尚未见研究。本研究讨论了如何在CD-CAT中实现项目属性在线标定,并针对确定性输入噪音与门模型(DINA),提出了三种在线标定方法:极大似然估计方法、边际极大似然估计方法和交差方法,其中交差方法对于所有非补偿认知诊断模型均适用。同时,用模拟研究手段讨论不同题库结构(题库是否为充分必要题库)对标定结果的影响。 首先在充分必要题库下比较三种在线标定方法的表现。模拟研究显示:边际极大似然估计最好,但对项目参数取值有些敏感;在知识状态估计精度较高时,原始题植入方案中,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与另外两种方法基本相当,只是在随机植入原始题时,在发散型和无结构型表现欠佳,但是在自适应植入方案时,在无结构型交差方法表现甚至比边际极大似然估计还好;交差方法的优势在于不需要预先设定项目参数值,它是一种高维空间“夹逼”方法,当知识状态估计准确时,“夹逼”结果理想。 由于边际极大似然估计在充分必要题库下表现较好,本研究只考虑边际极大似然估计方法在非充分必要题库下的表现。在模拟研究之前,先给出项目属性向量等价类的定义,并描述知识状态等价类和项目属性向量等价类之间的关系。同时给出另外两个定义:确定性项目属性向量(项目属性向量等价类仅含一个属性向量)和不确定性项目属性向量(项目属性向量等价类中不只含一个属性向量)。对含6个属性的独立结构模拟研究发现:对数似然比效应量的置信区间下限几乎都大于0,显示确定性项目属性向量的判准率高于不确定性项目属性向量判准率。简而言之,如果题库不充要,原始题的属性标定准确性受到影响,题库中非可达阵中项目对标定有一定的弥补作用,间接印证了可达阵在认知诊断题库有着非常重要的作用。 研究三(论文第五部分)主要为实证研究。首先拓展修正的Q矩阵理论之扩张算法的应用,对实测数据(Tatsuoka分数减法数据)进行预分析。然后考察形式概念分析方法和在线标定方法在实测数据下的表现。结果显示:形式概念分析方法得到的项目属性向量与专家标定的项目属性向量一致性为.44,在线属性辅助标定方法得到的项目属性向量与专家标定的项目属性向量一致性为.73,有监督方法比无监督方法一致性明显要高,均低于模拟研究中形式概念分析方法的.76。对多个可能原因分析发现,一致性较低的原因主要在于实测数据的被试样本代表性不高(某些知识状态的被试量不够),并且发现专家标定结果尚存在不合理之处。 根据模拟研究和实证研究结果,本文提出的无监督式属性标定方法,它是一种探索性方法,对探索项目属性(从无到有)有一定的应用价值;而有监督式属性标定方法对认知诊断评估中低成本扩张CD-CAT题库(从少到多)、纸笔测验下属性标定或验证有一定的应用价值。本文研究仅局限于DINA模型,但是,这些属性辅助标定可用于属性机制为连接的非补偿型的项目属性标定。


知网文化
【相似文献】
中国重要会议论文全文数据库 前2条
1 黄威;靳亚辉;;面向评论挖掘的产品属性集合构建[A];第六届(2011)中国管理学年会——信息管理分会场论文集[C];2011年
2 张秀廷;;“偶有属性”发微[A];逻辑今探——中国逻辑学会第五次代表大会暨学术讨论会论文集[C];1996年
中国博士学位论文全文数据库 前3条
1 汪文义;认知诊断评估中项目属性辅助标定方法研究[D];江西师范大学;2012年
2 杨淑群;基于属性层次结构的FCA及其在认知诊断中的应用研究[D];南京航空航天大学;2009年
3 黄九鸣;面向舆情分析和属性发现的网络文本挖掘技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 靳亚辉;基于属性集合的产品评论挖掘研究[D];华中科技大学;2011年
2 罗凌云;认知诊断中项目属性自动标识策略的相关研究[D];江西师范大学;2010年
3 李晓霞;概念格的属性约简及建格算法的研究[D];东北大学;2008年
4 张银银;基于SALmap方法的属性抽取的研究与实现[D];东北大学;2010年
5 宋帅峰;基于属性集合加密的数据访问控制研究[D];郑州大学;2013年
6 刘敏茜;面向对象概念格与面向属性概念格的属性约简理论[D];西北大学;2010年
7 张小花;面向属性概念格与面向对象概念格的粒约简理论[D];西北大学;2011年
8 曾振宇;基于属性加密的访问控制机制研究[D];北京交通大学;2014年
9 吴寅东;多属性机构的属性加密研究[D];西安电子科技大学;2014年
10 曾飞;属性基加密的研究及其在文档安全系统中的应用[D];华中科技大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978