收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向大学英语教学的通用计算机作文评分和反馈方法研究

葛诗利  
【摘要】:由于师生比例过大,我国大学英语写作教学急需计算机作文评分和反馈系统,以减轻教师的评卷负担和促进学生的写作训练,并最终达到提高学生写作能力的目标。目前的研究集中在特定题目的作文评分方面,对于面向大学非英语专业英语教学、通用的、带反馈的计算机作文评阅方法,还未见有研究。 非英语专业大学生在我国人数众多,但整体英语写作水平不高,亟需大量的写作训练以提高语言运用能力。但由于大学英语教师数量相对较少,根本没有时间和精力评阅大量的作文。所以,一种较为准确的计算机作文评分方法可以解决很大的问题。 所谓通用,就是设计一套方法,适用于非特定题目的作文评阅。在大学英语写作教学中,大量的平时练习和各种考试涉及的作文题目是多样的。如果对于每次练习、每次考试都要为了取得评分模型而进行语料训练,那么人工标注的工作量就相当大,而且由于样本集合小,样本特征的统计意义差,训练效果可能不尽如人意。这两个因素影响了计算机自动评分方法的实用性。因此,研究非特定题目的通用评分系统非常有必要。 反馈在大学英语写作教学的作文评阅中的重要性甚至高过作文的评分,因为分数只是说明这篇作文写得好坏,是对已完成作品的评价,但是有价值的反馈能告诉写作者作文中存在的问题,使其能明白自己语言使用的偏误,并在以后的写作中自觉地更正或者规避。 鉴于以上研究目标,本文分析了中国非英语专业大学生英语作文通用计算机评分和反馈的局限性及解决方法。对于作文评分,第一个困难就是作文评分的信度。由于作文评分的主观性本质,目前只能以多人评分所达到的一致意见作为客观标准。其次,是自然语言处理中所存在的问题,包括了作文的语言和内容问题。由于自然语言处理技术的局限以及通用评分的研究目标,目前只能以作文语言研究为主,内容研究为辅。最后,对于中国学生英语作文这种错误种类和数量繁多的汉英“中介语”,目前比较准确的处理技术只有词汇统计和模式匹配。对于作文反馈,最重要的就是对于语言错误的准确反馈。 本研究收集的作文语料包括CLEC语料库的大学英语四级考试作文和《大学生英语作文》中的写作范文。通过组织三名有经验的评分员对作文进行评分,选取了其中5个分数档(2分,5分,8分,11分和14分)660篇257个不同题目的作文,构成本研究的作文集合。该集合又进一步分为440篇的训练集和220篇的测试集。训练集用于构建计算机评分和反馈模型,测试集用于验证所构建模型的性能。 本文的工作包括计算机评分和反馈两方面。 在计算机评分方面,针对一次训练多次使用的通用非特定题目作文评分的研究目标,根据以往研究并在本文研究确认的基础上,选取了三个重要的词汇特征(作文长度、词汇多样性、分级词汇分布)、一个动词短语数量特征和具体短语使用与否的特征作为自变量,作文成绩作为因变量,采用多元回归和特征概率分类相结合的方法构建评分模型,并采用测试集验证评分模型的性能,得到模型在各分数档的评分精确率、召回率和误判率,总体准确率和误判率,以及评分结果信度矩阵。 研究发现,模型评分总体准确率达到75.45%,总体误判率只有10%。各分数档评分精确率最高达到100%(2分档),最低也超过65%(11分档)。各分数档的评分召回率呈现明显的随分数升高而升高的趋势,从最低的2分档的30%逐步升高到最高的14分档的94%。各分数档的误判率也呈同样趋势,2分和5分档是0,而14分档超过16%。尽管由于通用评分的目标,只能选择内容无关的评分特征,但此评分模型对于大学英语写作的日常教学已具有参考价值。 作文反馈包括两个方面,一个是词汇共现错误,另一个是短语使用错误。词汇共现错误的识别是依据从英语作为本族语的大型语料库中提取词汇二元接续知识。其中接续较低或不接续的两个词汇若在作文中邻接共现,则为疑似错误,并反馈给教师和学生作最后的判断。短语使用错误的识别是通过研究大学英语写作中常用短语,构建短语错误使用模板,然后用这些模板与作文中的句子进行匹配,从而发现短语的错误使用情况。 在查错的反馈结果中,考察了最经常使用的前1000词中的词汇共现情况。大型语料库中共现频次低于10次的词汇对,在学生作文中的含错率超过70%;共现频次低于30次的词汇对,在学生作文中的含错率也接近57%。短语模式匹配中,抽样统计得到的短语识别召回率为84.77%,准确率为96.45%。该研究结果表明,在高频词语范围内,反馈的准确率和召回率都比较高。由于高频词语正是非英语专业学生学习的基础和重点,所以这种反馈对纠正学生语言使用中相应的偏误会起到较大的作用。 尽管针对通用评分的目标,本论文主要研究学生英语写作语言,但也同时兼顾作文内容。通过对同一题目多篇作文的自动聚类,可以发现少数与其它大多数作文用词不同的作文,即可能的跑题作文。实验显示该方法对于题目相近但内容不尽相同的作文具有一定的识别能力。 本文工作的创新性表现为以下方面: (1)局限性分析: 分析了计算机作文评分及反馈的局限性,对能够解决的问题,提出可行的解决方法;目前难以解决的,分析其原因,供以后研究的参考。 (2)目标定位: 探索非英语专业、非特定题目、一次训练多次使用的通用评分方法;探索计算机对于中介语作文自动查错反馈的可行性和具体方法;探索中介语作文无训练过程内容评分的可行性和具体方法。 (3)评阅技术: a)小量的词汇特征(作文长度、词汇多样性、分级词汇分布)。其中词汇分布中剔除了题目词和改进了词表。对于面向大学英语写作教学通用评分的目标,小而精的词汇特征集合更具有针对性,而且效果不差。 b)引入短语特征,包括动词短语数量和每个短语的使用与否。短语特征的选取基本都是内容无关的。两项特征都对作文评分具有较大贡献,而且短语模板的使用对学生作文中短语使用情况的反馈达到了较高的准确率。 c)引入一级词语的二元接续特征。对于学生作文中最常用词汇的共现错误进行检查,报错准确率较高,对学生语言使用错误的反馈具有针对性。 d)采用聚类方法发现跑题作文 本文的工作说明,计算机在统计、匹配和存储方面有远胜于人的能力。只要恰当地选定应用目标并设计好方法,许多看似智能性十分强的工作也可以由计算机完成。计算机在面向大学英语教学的汉英中介语一次训练多次使用的非特定题目作文评阅领域是大有可为的。 但是,另一方面,本文将各种特征集成以后,自动评分的准确率只有75%左右。查错反馈仅限于高频词语的邻接及常用短语的使用形式,而且即使在这十分狭窄的范围内,反馈的准确率和召回率也比较有限。本文的研究实践说明,中介语作文评阅完全由机器来自动完成是不现实的。这是由自然语言处理和中介语处理这双重的复杂性所决定的。因此,研究人机结合的中介语评阅方法,设计一种人和机器最佳结合的评阅流程,使人和机器最大限度地相互取长补短,应该是中介语作文评阅的发展方向。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 万玉英;;高考英语写作擂台赛[J];高考金刊;2009年04期
2 朱晓亮;;小学英语写作教学初探[J];学生之友(小学版)(下);2011年09期
3 刘琤;;初中英语写作教学探究[J];教书育人;2011年19期
4 田华;;英语写作中的汉语干扰因素[J];学周刊;2011年21期
5 樊红卫;;英语写作在中学英语学习中的作用[J];才智;2011年21期
6 葛萍;;英汉语篇连贯的异同研究及其对英语写作的启示[J];常州信息职业技术学院学报;2011年03期
7 杜志梅;;浅议大学英语写作反馈策略[J];海外英语;2011年06期
8 袁敏;;走出初中英语写作困境[J];科学咨询(教育科研);2011年06期
9 白杰;赵秦;;在写作中提高英语表达能力[J];大家;2011年14期
10 吴安运;;英语写作中如何增加文章的亮点?[J];青苹果;2009年10期
11 陈琳;;高三英语写作冲刺教学策略[J];中学教学参考;2011年24期
12 ;我院学生在第二届全国高职高专英语写作大赛荣获佳绩[J];广东水利电力职业技术学院学报;2011年03期
13 傅泽涵;;浅析技校生英语写作中的中式英语现象[J];职业;2011年23期
14 薛维;;英文写作主题句的认知分析[J];价值工程;2011年19期
15 安瑞祥;;浅谈中学生英语写作常见错误[J];新课程学习(下);2011年05期
16 王海荣;;让学生对英语写作说“OK”——浅谈初中生英语写作技能培养[J];学苑教育;2011年13期
17 田正玲;;论英语写作中的句子片段及修正方式[J];现代阅读(教育版);2011年09期
18 杨恒雯;;整合读写以克服英语写作焦虑[J];成功(教育);2011年08期
19 秦琴;;如何提高非英语专业大学生英语写作能力[J];青春岁月;2011年14期
20 丁帆;;初中英语写作中的问题及解决策略[J];学生之友(初中版)(下);2011年08期
中国重要会议论文全文数据库 前10条
1 葛诗利;陈潇潇;;中国EFL学习者自动作文评分探索[A];第三届学生计算语言学研讨会论文集[C];2006年
2 支流;段慧明;朱学锋;俞士汶;;中文缩略语知识库建设[A];第三届学生计算语言学研讨会论文集[C];2006年
3 白刚;张铮;丁宗尧;朱毅;;中文文本聚类在互联网搜索的研究与应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
4 刘群;张浩;白硕;;中文信息处理开放平台的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
5 支流;朱学锋;段慧明;俞士汶;;中文缩略语还原技术初探[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
6 刘开瑛;由丽萍;;汉语框架语义知识库构建工程[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
7 郑家恒;谭红叶;王兴义;;基于模式匹配的中文专有名词识别[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
8 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 杨丽鹏;林世平;;基于关联规则和自然语言处理技术的概念间非分类关系的抽取[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 孙玉芳;;中文信息处理与国家信息化建设[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
中国博士学位论文全文数据库 前10条
1 葛诗利;面向大学英语教学的通用计算机作文评分和反馈方法研究[D];北京语言大学;2008年
2 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
3 龙金顺;英语写作修辞的符号学研究[D];上海外国语大学;2010年
4 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
5 代印唐;基于语义网络的知识协作关键技术研究[D];复旦大学;2009年
6 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
8 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
9 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
10 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
中国硕士学位论文全文数据库 前10条
1 王蕾;以中介语理论为基础的英语写作错误分析[D];长春工业大学;2010年
2 尹瑜洁;高考英语写作评分员的阅卷模式研究[D];山西大学;2010年
3 李翠艳;建立写作档案袋是促进学生英语写作的有效方法[D];福建师范大学;2009年
4 陈伦菊;对大学英语教师作文反馈的调查及研究[D];浙江工商大学;2011年
5 李弘羊;自主学习及其在英语写作学习中的应用[D];南京师范大学;2003年
6 邹玮;英语写作课堂应用合作学习的研究[D];辽宁师范大学;2004年
7 马璇;基于性别差异的高中生英语写作错误分析[D];长安大学;2010年
8 李娟;中西思维模式对比及其对英语写作的影响研究[D];东北林业大学;2010年
9 丁玉凤;不同类型的纠正性反馈对学生写作的影响[D];江西师范大学;2010年
10 赵爱香;关于高中学生英语写作中词汇、句法及语篇层面的错误分析[D];曲阜师范大学;2011年
中国重要报纸全文数据库 前10条
1 萍 踪;英语写作从描述生活入手[N];中国教育报;2003年
2 芦自军 金珍;汉语在英语写作中的误导因素分析[N];伊犁日报(汉);2008年
3 王忠伦;浅析如何克服英语写作中汉语的干扰[N];黔西南日报;2009年
4 江苏省沛县体育中学 于玉川;如何消除英语写作“怯写”心理[N];学知报;2011年
5 上高三中 潘淑珍;初中英语写作常见错误及对策[N];宜春日报;2010年
6 赵科;如何在中考英语作文中取得好成绩[N];中国图书商报;2006年
7 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
8 陈金智 陈钰;英语写作的策略和方法[N];光明日报;2004年
9 特约撰稿 陈程;美国经济疲软中复苏[N];中国经营报;2009年
10 记者 徐磊 通讯员 李磊;苏州科技学院获两个一等奖[N];苏州日报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978