收藏本站
收藏 | 论文排版

多面Rasch模型在半结构化主题统觉测验评分结果分析中的运用

蔡焱  
【摘要】: 目的:本研究以人才测评中与绩效相关较高的成就动机的测量为尝试,运用多面Rasch模型对半结构化主题统觉测验的评分结果进行分析,对半结构化主题统觉测验评分结果中存在的评分者主观偏差和评分者对评分量尺的不良使用进行分析,以期望:(1)通过多面Rasch模型的分析,用考生潜在特质水平估计值代替TAT实际评分,提高决策的科学性:(2)通过对TAT评分者的自身一致性程度和宽严程度进行分析,甄别不合格的评分者并确定其偏差类型,从而能够有针对性的进行培训提高TAT测验的评分信度;(3)初步探索主题统觉测验在人才测评中的实际应用。 方法:本研究采用德尔菲法从TAT测验第三版中选取8张图片编制半结构化主题统觉测验,通过添加主题、时间、人物、地点等线索对图片实施半结构化。使用编制的半结构化主题统觉测验对大连市某区副处级后备干部选拔考试的考生实施测验,采集报考政法部门考生的答题结果,按照考生是否符合本次选拔工作报名条件、答案是否覆盖至少3个答题要点、每幅图答案字数不少于200字三个条件对数据进行了筛选,确定了48名考生作为考生面的研究对象。同时,选择对投射测验有所了解、参与了研究者提供的编码技术培训的6名心理学和教育学研究生作为评分者(编码者),为评分者面的研究提供数据。本研究中评分系统采用Blankship (2006)修订的成就动机评分系统,此系统被证明有良好的效度。首先对答案以段落为单位根据此评分系统进行内容分析和编码,汇总各编码维度下的原始资料并设定各维度评分等级,然后让各评分者对各考生在各维度上的表现独立进行7点评分,最后借助FACETS软件,使用多面Rasch模型对得到的评分结果进行三方面分析:(1)评分者面分析:评分者间宽严程度的差异;评分者自身一致性;评分者与考生的交互作用分析;评分者与维度的交互作用分析;(2)评分系统分析:各评分维度难度分析;各评分维度评定等级量尺分析;(3)考生面分析:估计考生的潜在特质水平;考生潜在特质水平差异性分析。 结果:(1)评分者面分析结果:各评分者评分宽严程度有显著不同,6名评分者中C评分者评分最严格,B评分者评分最宽松。6名评分者的infit值在0.76~1.26之间,评分者E和评分者C的自身一致性不太好,而评分者B在对考生潜在特质值的估计和区分中只提供了较少信息。各评分者在对不同考生和不同维度评分时,产生的偏差模式各不相同。(2)各维度的跨评分者一致性较好,各评分者在同一个评分维度上使用的宽严标准较一致;评分者D在四个评分维度上都出现了严重偏差(Z2.0或Z-2.0),说明他对评分系统的掌握最不到位,应当加强培训。成就满足感维度难度最大,成就追求计划维度难度最小。各维度评分等级高低能代表考生潜在特质值的高低,但各维度评分等级间距都不相同,总体趋势是中部等级间距小,两端等级间距大。(3)考生潜在特质水平估计值差异显著,说明“成就动机”可以作为良好的区分指标引入后备干部选拔中。 结论:(1)与经典测量理论模型相比,使用多面Rasch模型对半结构化主题统觉测验的评分进行分析,不仅能够考察评分者间评分一致性,还能够全面提供评分者宽严程度、评分者自身一致性、评分者与考生的交互作用、评分者与评分维度的交互作用、评分量尺的等距性等信息,全面考察了评分结果的一致性、差异性和变异度。(2)使用多面Rasch模型可以对上述因素引入的误差进行剔除,使用考生潜在特质水平估计值代替原始评分,可以增强决策的科学性。(3)使用多面Rasch模型可以侦测出不合格的评分者并细分其评分行为偏差类型,提高评分者培训的针对性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 余强,余珍有,孙克清;三、五年级学英语起点和语音发展的实验研究[J];南京师大学报(社会科学版);2005年02期
2 谢俐媛;;外语成绩测试信度研究[J];文学教育(下);2011年05期
3 杨彦;包建;;无领导小组讨论在管理中的应用[J];沧桑;2011年01期
4 关培兰,苏永华;“无领导小组讨论法”在人员招聘中的应用研究[J];武汉大学学报(人文社会科学版);1999年02期
5 常建蓉,余强,李继英;年级起点和小学生英语语音发展的跟踪研究[J];南通大学学报(教育科学版);2005年03期
6 苏永华,柴雪,丁玉洋;国家公务员录用面试初步研究[J];应用心理学;1998年01期
7 赵群;曹亦薇;;档案袋评价中评分者信度的实证研究[J];应用心理学;2006年03期
8 彭平根,丁彪,苏永华;LGD在选拔企业中高级管理人才方面的实证研究[J];心理科学;2002年05期
9 刘镰力;;HSK(高等)口试探索[J];世界汉语教学;1997年02期
10 徐晓锋;刘勇;;评分者内部一致性的研究和应用[J];心理科学;2007年05期
11 李灿;辛玲;;调查问卷的信度与效度的评价方法研究[J];中国卫生统计;2008年05期
12 严芳,李伟明;用结构方程建模(SEM)估计概化理论(GT)中的评分者信度[J];心理学报;2002年05期
13 陈纪梁;王鲲;;中国大学生二语写作自我评估与学生互评评分者信度调查(英文)[J];Teaching English in China;2007年01期
14 康春花;姜宇;辛涛;;概化理论在人事测评中的评分者一致性研究[J];心理科学;2010年06期
15 田文燕;鄢家利;;语言测试中主观题评分员效应研究综述[J];五邑大学学报(社会科学版);2011年02期
16 杨成莲;崔丽霞;郑日昌;迟兆艳;;动机性会谈技术的评估(综述)[J];中国心理卫生杂志;2008年08期
17 严进;吴英杰;张娓;;履历数据测评的效度分析[J];心理学报;2010年03期
18 朱成碧;陈永进;周研茹;;儿童行为发展中的情绪自我管理[J];兰州教育学院学报;2010年05期
19 赵克宝;高霞;倪文;;模糊综合评价法在教师教学质量评价中的应用[J];大家;2011年05期
20 路文军;刘扬;;大学英语课堂教学测试与评价[J];广西教育学院学报;2007年03期
中国重要会议论文全文数据库 前10条
1 赵群;曹亦薇;;档案袋评价中评分者信度的实证研究[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
2 杨建武;陈晓鸥;;半结构化文档集的结构化处理及其Web发布[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
3 田清源;;HSK主观考试评分的Rasch实验分析[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
4 錢才瑋;郭常勝;;肝炎患者葉菜攝取量之研究:以Rasch多向度模式與結構方程模式分析[A];膳食变迁对民众健康的影响:挑战与应对——第二届两岸四地营养改善学术会议学术报告及论文摘要汇编[C];2010年
5 许燕;张珊珊;刘红云;;概化理论和多面Rasch模型在作文评分中的应用[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
6 覃林;;XML半结构化技术在北京市有形建筑市场系统的应用[A];跨越发展:七省市第十届建筑市场与招标投标优秀论文集[C];2010年
7 赵玉;;扩展RASCH模型在平衡秤任务上的应用研究[A];全国教育与心理统计与测量学术年会暨第八届海峡两岸心理与教育测验学术研讨会论文摘要集[C];2008年
8 陈阅;;学业水平测试中作文评分误差的多面Rasch模型分析[A];全国教育与心理统计与测量学术年会暨第八届海峡两岸心理与教育测验学术研讨会论文摘要集[C];2008年
9 周群;;Rasch评分量表模型在论述题评分等级研究中的应用[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
10 卫小梅;胡昔权;喻勇;窦祖林;;脑卒中ICF简明核心要素信度、效度检验的Rasch模型分析[A];中国康复医学会第十三届全国脑血管病康复学术会议会议指南[C];2010年
中国博士学位论文全文数据库 前10条
1 韦斯林;应用Rasch模型构建基于计算机建模的中学生物质结构认知测量的研究[D];华东师范大学;2011年
2 陶春;半结构化数据集成系统中的查询处理研究[D];复旦大学;2004年
3 张杰;P2P系统中激励相容的机制设计与实现[D];天津大学;2007年
4 乔坤;高层管理者管理工作研究[D];大连理工大学;2008年
5 李冠宇;基于智能体和本体的语义数据集成研究[D];大连理工大学;2010年
6 刘志明;对等存储系统数据管理研究[D];国防科学技术大学;2011年
7 曹顺良;生物学数据集成若干关键问题研究[D];复旦大学;2005年
8 郭熙铜;基于数据流视角的商业流程整合研究[D];中国科学技术大学;2010年
9 万亚平;基于P2P的分布式存储系统可靠性及故障检测研究[D];华中科技大学;2010年
10 田金亭;基于CAT的中学生创造力评价技术探讨[D];南京师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 蔡焱;多面Rasch模型在半结构化主题统觉测验评分结果分析中的运用[D];大连医科大学;2010年
2 卢育红;半结构化药物数据智能分类技术研究与系统实现(全日制专业学位)[D];北京交通大学;2011年
3 姚墨涵;基于分布式架构的半结构化Web论坛信息抽取系统的研究[D];太原理工大学;2012年
4 任杰;初中英语口语测试信度的研究[D];南京师范大学;2005年
5 王晓晗;QH公司岗位评价评分者信度的概化研究[D];上海交通大学;2007年
6 董树明;半结构化Web信息抽取技术及其应用研究[D];东南大学;2004年
7 李由;一种半结构化信息组织技术的研究与实现[D];国防科学技术大学;2002年
8 段然;基于多层面Rasch模型的CET-SET评分员效应研究[D];河北科技大学;2012年
9 程卫民;Web教学资源专用标记语言的研究及论证系统的开发[D];上海师范大学;2003年
10 吕橙;Web用户访问模式和半结构化、层次数据的模式发现[D];广西师范大学;2003年
中国重要报纸全文数据库 前10条
1 易明;XML促进Web数据挖掘[N];通信产业报;2007年
2 ;会计决策支持系统[N];财会信报;2006年
3 涂序彦 陈泓娟;在网络信息海洋中淘金[N];计算机世界;2001年
4 本报记者 邹大斌;迎接大数据时代[N];计算机世界;2011年
5 程守勤;中大医院实现电子病历“全覆盖”[N];健康报;2006年
6 通讯员 程守勤;南京中大医院启用电子病历[N];江苏科技报;2006年
7 刘磊;下一代数据库长啥样?[N];中国计算机报;2005年
8 马文方;信息革命浪潮打在头上[N];中国计算机报;2007年
9 通讯员 晋组;山西遴选十五名县长拟任人选[N];中国组织人事报;2011年
10 ;下一代数据库六大特点[N];中国计算机报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978