收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

评分员背景对大学英语期末考试写作评估信度和效度的影响

毛星星  
【摘要】:不论是在课堂测试还是在大型标准化语言考试中,写作都是必不可少的一部分。它能够有效地测试出学生的综合语言运用能力。然而,由于评分的主观性,写作评分的准确性和公平性一直备受质疑。同一篇作文,不同评分员给出的分数可能会有很大的差别。这种情况下,写作评分的信度、效度和公平性就无法得到保证。Eckes(2008)也曾指出评分员不一致性是语言测量专家面对的最大挑战之一。现有研究表明,评分员的背景差异是导致作文得分偏离“真分数”的最重要原因之一。运用概化理论,本文旨在探究评分员的背景差异对大学英语期末考试中写作评估信度和效度的影响。基于此目的,本文将六位评分员按照三个背景因素(性别、教育经历和写作评阅经历)进行分组(每个背景因素分成两组,每组三人),比较了不同背景组别评分员的写作评分结果。本文的研究样本是从2017年6月湖南大学大一非英语专业学生的期末考试中抽取的60篇作文,由六位评分员采用整体评分的方法(1-15分)进行评阅。每位评分员独自评分。最终的分数在EXCEL和GENOVA中进行分析。分析结果表明,该写作评分的总体信度和效度较低。组间比较表明:与女性评分员相比,男性评分员的评分一致性更差,但两者在评分信度、聚合效度和区分效度上几乎无差别;与语言测试背景的评分员相比,非语言测试背景评分员的评分一致性、信度、聚合效度和区分效度明显偏低;与有经验的评分员相比,普通评分员的评分一致性、信度、聚合效度和区分效度相对较低。最后,本文挑选了两位评分员进行半结构化访谈,结果显示评分员的语言测试知识和评阅经历会对其评分观念和行为产生一定的影响,从而影响最终的作文得分。本文研究结果表明,评分员性别不会影响作文评分质量,但是评分员的语言测试背景与评阅经历却会产生明显影响。因此,探究评分员偏颇产生的原因对于写作评估信度和效度的研究至关重要。一旦了解了偏颇来源,我们就能够采取针对性措施来保障写作评分的信度、效度及公平性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张立华;;刍议用可测量的“标准”论证“课堂效度”[J];思想政治课研究;2018年05期
2 罗桂菊;;高中历史人物教学效度的有效提升[J];教书育人;2016年34期
3 张磊;;怎样给孩子的作业签名[J];少年儿童研究;2017年03期
4 刘富强;;整合教学过程,提升中职计算机教学效度[J];内蒙古教育;2017年08期
5 吴亮;;实验为“径”,思维为“的”——以“三角形三边之间的关系”教学为例[J];数学教学通讯;2017年16期
6 秦声通;;提高课堂教学效度,改造薄弱小学[J];课程教育研究;2017年12期
7 俞洲;;品读“效应”故事 提高管理效度[J];基础教育参考;2017年17期
8 张启华;;评论时效度的影响因素分析[J];新闻研究导刊;2015年20期
9 胡海江;;初中科学“课前预设”中提升小组合作效度的策略研究[J];新课程(中学);2016年12期
10 王天予;;语言测试中的构念效度研究[J];知识文库;2016年14期
11 李启秀;;语言测试对高中英语教学的影响[J];青少年日记(教育教学研究);2016年08期
12 谢丽娟;;数学绘本对提高小学低年级学生学习效度的思考与实践[J];数学大世界(中旬);2017年03期
13 徐迎梅;;巧理答 促思维——以《最大的麦穗》教学为例[J];小学语文教学;2017年15期
14 姚春美;;优化示范手段,提高示范效度[J];新教育;2017年11期
15 王国富;王永娣;;思维效度:向阅读更深处漫溯[J];全国优秀作文选(写作与阅读教学研究);2017年03期
16 罗东周;;小学数学作业设计新探[J];中小学数学(小学版);2017年06期
17 徐俊;;探寻真题共性 增强复习效度[J];教学月刊·中学版(政治教学);2017年06期
18 席仲恩;;“效度”理论对翻译测试的呼唤[J];英语研究;2017年01期
19 吴乐乐;;“互联网+”,为学生评价服务[J];基础教育课程;2017年10期
20 侯东霞;任孝鹏;张凤;;基于客观指标的中国人集体主义量表[J];中国社会心理学评论;2016年02期
中国重要会议论文全文数据库 前10条
1 李德忠;王重鸣;;考生能力模式与公文筐测验构思效度的关系研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
2 李广洲;张冬梅;;关于概念图测验效度的研究[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
3 萨其尔;;绿色公共领域下的媒介效度——兼论社会治理下媒介在公共领域建构中的角色[A];中国传媒大学第六届全国新闻学与传播学博士生学术研讨会论文集[C];2012年
4 金玉华;李寿欣;许芳;;CSA测验修订中的信、效度验证[A];第十届全国心理学学术大会论文摘要集[C];2005年
5 王道阳;李珊;胡铭铭;陶沙;;儿童人格评定量表(Mini-IPIP)的效度和信度[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
6 黄会欣;龚茜;徐振华;刘电芝;;大学生性别角色量表的编制与效度验证[A];第十二届全国心理学学术大会论文摘要集[C];2009年
7 李恩泽;李伟霞;谢植涛;张斌;;失眠严重指数量表的效度和信度研究[A];中国睡眠研究会第十届全国学术年会汇编[C];2018年
8 刘凌;孙亚琴;;效度概念一元化的发展述评[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年
9 耿晓伟;张峰;李纯;;农村居民幸福感问卷编制及效度验证[A];中国城市化进程的社会心理研究[C];2012年
10 解学慧;;对心理学研究中个案研究的一点探讨[A];第十届全国心理学学术大会论文摘要集[C];2005年
中国博士学位论文全文数据库 前10条
1 高宏杰;15FQ~+量表中文版的修订及初步应用研究[D];第四军医大学;2005年
2 汪顺玉;语言测试构念效度研究[D];上海外国语大学;2006年
3 柳明明;高考英语听后口头复述任务效度论证研究[D];北京外国语大学;2015年
4 闵尚超;计算机自适应英语能力测试模型设计与效度验证[D];浙江大学;2012年
5 柳春红;青少年烟草使用、心理行为与饮食的关系[D];华中科技大学;2008年
6 张帆;三峡库区农村留守儿童心理健康与心理弹性现状及影响因素的研究[D];重庆医科大学;2013年
7 王伟;冠心病中西医结合生存质量量表的研制及考评[D];广州中医药大学;2009年
8 罗璨;帕金森病焦虑对患者生活质量的影响及其临床相关因素的探讨[D];武汉大学;2016年
9 吉军;住宅厨房厨务功能综合效度评价研究[D];哈尔滨工业大学;2015年
10 吴根洲;高考效度问题研究[D];厦门大学;2007年
中国硕士学位论文全文数据库 前10条
1 李恩泽;失眠严重指数量表的效度和信度研究[D];南方医科大学;2018年
2 王尔刚;增强群体心理情景实验效度的多人在线游戏设计及评测研究[D];哈尔滨工业大学;2018年
3 毛星星;评分员背景对大学英语期末考试写作评估信度和效度的影响[D];湖南大学;2018年
4 李智;德语专业四级考试(PGG)听力理解测试的效度验证分析[D];南京大学;2018年
5 陈淑娟;死亡与濒死焦虑量表在晚期癌症患者中跨文化调试及应用[D];安徽医科大学;2017年
6 李向辉;教育科学研究效度问题探析[D];河南大学;2005年
7 鄢丽敏;我国外汇储备的效度优化及路径指向研究[D];江南大学;2008年
8 罗云明;从翻译效度看小说翻译[D];重庆大学;2011年
9 杨灵;2012高考英语(湖南卷)完形填空测试的构念效度实证研究[D];湖南师范大学;2013年
10 余颂伟;全国翻译专业资格(水平)考试二级口译(交替传译)《口译实务》效度实证研究[D];重庆大学;2017年
中国重要报纸全文数据库 前10条
1 毕节市第一小学 冷道英;浅谈小学生造句训练教学[N];毕节日报;2009年
2 记者 潘启雯 通讯员 戴勇;加强大规模考试中有关效度的研究[N];中国社会科学报;2009年
3 山西财经大学文化传播学院副教授 第六届中国现代文学馆客座研究员 金春平;跨界文体写作的广度与效度[N];发展导报;2018年
4 陈海平;效度新理念关注干部选拔有效性[N];学习时报;2015年
5 ;真理的信度和效度[N];西安日报;2006年
6 宁波日报社 张伟方 翁杰;在抗灾救灾报道中拿捏“时效度”[N];中国新闻出版报;2013年
7 江苏省海门中等专业学校 崔志钰;教学究竟需要怎样的高效[N];江苏教育报;2017年
8 ;应注意考核结果的分析与应用[N];中国工商报;2003年
9 温新旭;挖内潜,有色业降本增效度难关[N];甘肃经济日报;2008年
10 山东省章丘市教师进修学校 叶子丽;以教师论坛促校本教研[N];中国教育报;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978