计算机辅助语言测试:效度分析
【摘要】:
计算机已经广泛用于了教育的各个领域,包括教,学以及测试。在
语言测试方面,计算机的应用日趋广泛,并有逐步代替传统笔试的趋势。
随着计算机技术的日新月异的发展,可以用计算机进行测试的种类从最
初的客观题已经发展到听,说,读,写各个语言技巧方面的测试(见第
一章)。
所谓计算机辅助测试(CAT)指的是在过程的任何环节运用了计算
机技术的测试。就象任何新产生的事物一样,人们对计算机辅助测试的
信度(Reliability),效度(Validity)等方面依然存在着疑问。本文除了对计
算机辅助语言测试目前的所取得的进展以及今后的发展方向进行了全面
的描述以外,重点探讨了关于测试效度的几个问题。在讨论计算机辅助
语言测试的效度问题的时候,本文分两个章节分别对基于试题库的计算
机自适应性测试(CALT)和计算机化的现实性测试(Authentic
Assessment)的效度进行了分析。
本文分由序言,第一章,第二章,第三章,第四章,结语六个部分
组成。
序言主要介绍了本文的研究方向,目的和文章结构。
第一章主要描述了目前计算机辅助语言测试所取得的进展和使用范
围。主要分四个方面进行了论述:试题库的建设;计算机辅助语言测试
可适用的测试种类;计算机自适应性语言测试以及计算机在语言测试中
运用的效果。
试题库建设包括生成,操作,分析,储存,管理,挑选试题的所有
过程。一个大的,科学管理的试题库是生成规范试卷的保证。一个小的
试题库可以用传统的方法,比如说文件卡片的方式进行管理。可是一个
容量的非常大的试题库就只能用计算机进行建设和分析,并且很多这方
面的软件己经问世,这样缸使得试题库处理更加简住和有效;用计算机
进行语言测试并不彤响测试的种类,在第一章的第二部分,本文总结了
计算机辅助语言测试的种类,并且分析了运用计算机进行测试的优势所
在:打破了传统测试集体性和限时性,达到了个别化测试和不限时测试,
是测试上的一次革命;接着第一章介绍了计算机辅助测试的一个很独特
并且得到最广泛运用的分支:计算机自适应性语言测试.和其他的语言
测试相比,它有以下几个特点:试题根据波测试者的不同而自行调节:
一旦棱测试者的实际水平被测出,测试自行停止;一般在曰目数虽上要
少于别的测试。计算机自适应性语言测试是基于项目反应理论mem
ResOO’lseTheoryorIRT)的一种测试,已经被美国研究生人学考试
N桐沏te ReCOrd W or GRE和工商管理类研究生人学考试
(Gradua for Manapernent and Ad’llllllsthaon Tdor GMA)以及全美护
士国家委员会资格考试(NUrS Co’llllllltee Lcense Test or
NNCL)等都已采取了CAT的方式。不难看出CAT代表了今后教育、
心理测验发展的方向与重点。第一章的第四部分从测试本身与人为因素
两个方面论述了计算机辅助语言测试的优势,接着从物理考虑和测试者
表现考虑论述了计算机输助语言测试存在的不足之处。
第二章专门对基于试题库的计算机自适应性语言测试的效度进行了
分析。首先给出了“试图库建设\“项目反应理论”和“效度”一些术
语的定义。然后对于影响计算机自适应性语言测试的几个主要因素进行
了讨论并一些解诀办法。这些因素主要包括:测试模式的变化,测试者
对计算机的戮悉程度的不同,计算机测试带来的紧张愚,速度的彤响,
题日顺序的变化,试卷长度的不同,测试者对出题方式的事先训练,和
试题库维度(碰mensiom山勺)的考虑。
计算机辅助语言测试除了机遇试题库的以外,还包括现实语言运用
的测试,主要指写作能力的测试。第三章就是通过一个实验对这种类型
测试的效度问题进行了分析。现在很多写作方面的测试仍然要求被测试
者用笔答的方式进行,但很多学生己经习惯了计算机上的写作,或者相
反的情况下,那么这种测试模式和练习模式的不同是不是会影响测试的
效度呢?这个问题争论已久。本文在这一章就以解放军外语学院98级英
语本科学员为对象,进行了一个实验。实验的假设是:测试模式的变化
对写作能力测试的结果有有意义的影响,而对客观题(这里采用的是阅
读理解的多项选择题)的影响却是可以忽略的。测试者以他们的专业四
级成绩和对计算机的熟悉程度(通过问卷和打字速度测试)分成实验组
和控制组,分别以笔答和上机的方式答同一份试卷,试卷包括二十道基
于短篇阅读理解的多项选择题和一道写作题,机上的部分采用了
AUTHQRWARE软件编写,在形式上尽量做到跟笔答试卷相同。两组的
作文都以文本方式进行打分,以避免打分者的偏见(bias)。最后对结果
进行了详细的数据分析,验证了假设。除此之外,还对写作题答案进行
了文本分析,发现计算机答题能产生较长的文本和相对多的段落,并且
通过性别分析,得出结论:计算机写作测试对女生的影响大于男生。这
个实验表明我们在评估学生写作能力的时候要考虑到测试模式与练习模
式不同对测试结果的影响,特别是当学生习惯笔试的情况下
【关键词】:【学位授予单位】:解放军外国语学院
【学位级别】:硕士
【学位授予年份】:2001
【分类号】:G434;H319.3
【DOI】:CNKI:CDMD:2.2001.007253
【目录】:
- INTRODUCTION10-12
- CHAPTER 1: CURRENT STATE OF KNOWLEDGE ON COMPUTERS IN LANGUAGE TESTING12-34
- 1.1 Item Banking13-16
- 1.2. Computer-Assisted Language Testing16-21
- 1.2.1. Types of Tests Possible with CAT18-21
- 1.3. Computer-Adaptive Language Testing21-28
- 1.3.1. IRT----Foundations of Computer-Adaptive Testing22-26
- 1.3.2. F1exilevel Procedures26-28
- 1.4. Effectiveness of Computers in Language Testing28-32
- 1.4.1. Advantages28-30
- 1.4.2. Disadvantages30-32
- 1.5. Summary32-34
- CHAPTER 2: VALIDATING AN ITEM BANK IN A COMPUTER-ASSISTED OR COMPUTER-ADAPTIVE TEST34-54
- 2.1. The Characteristics of An Item Bank35-38
- 2.2. Item Response Theory38-40
- 2.3. What Is Intended By Use Of The Term ”Validity”?40-41
- 2.4. Validational Concerns Associated With CAT Item Banking41-52
- 2.4.1. Mode of Presentation41-42
- 2.4.2. Differential Familiarity42-44
- 2.4.3. Computer Anxiety44-45
- 2.4.4. Speededness Inf1uences45-46
- 2.4.5. Item-Sequencing Concerns46-47
- 2.4.6. Test Length Concerns47-48
- 2.4.7. Warm-up Effects48-49
- 2.4.8. Mode1 Fit Concerns49-51
- 2.4.9. Item Bank Dimensiona1ity51-52
- 2.5. Implications For Second/Foreign Language Assessment52-54
- CHAPTER 3: COMPUTERIZED LANGUAGE TESTING AND AUTHENTIC ASSESSMENT54-85
- 3.1. Introduction54-58
- 3.2. Background58-59
- 3.3. Hypothesis59-60
- 3.4. Study Design60-73
- 3.4.1. Instruments61-71
- 3.4.2. Sampling Method71-72
- 3.4.3. Scoring72-73
- 3.5. Results73-76
- 3.5.1. Overall Results74-75
- 3.5.2. Computer versus Paper--and--Pencil Results75-76
- 3.6. Discussion76-85
- CHAPTER 4: RUTURE DIRECTIONS:COMPUTER-ADAPTIVE LANGUAGE TESTING85-87
- CONCLUSION87-89
- BIBLIOGRAPHY:89-98
全文下载:
CAJ格式
不支持迅雷等加速下载工具,请取消加速工具后下载