语言测试真实性的多维分析
- 格式:pdf
- 大小:243.60 KB
- 文档页数:6
大学英语四、六级口语考试真实性分析周培树【摘要】语言测试的真实性问题是语言测试一个重要的概念,大学英语四、六级口语(CET-SET)在社会越来越引起大家的关注,最近几年来一些学者和研究人员对语言测试的真实性问题有所研究,却鲜有涉及CET-SET的真实性问题.本文将从语言测试真实性的概念入手,全面分析CET-SET各环节中真实性的体现.认为有必要提高语言测试真实性的理论研究水平,以期更好指导CET-SET的实践,保证其信度和效度.【期刊名称】《宁波教育学院学报》【年(卷),期】2013(000)002【总页数】5页(P62-66)【关键词】语言测试;真实性;大学英语四、六级口语考试【作者】周培树【作者单位】内江师范学院外国语学院,四川内江641000【正文语种】中文【中图分类】H310.42我们知道,语言测试(这里主要指外语测试)是随着外语教学的发展而出现的。
有了外语教学,便有了语言测试[1]19。
随着20世纪70年代交际语言教学的产生,Bachman于20世纪80-90年代提出了“交际语言测试模式(an interactional approach to la nguage testing)”,其焦点为真实性,因此,真实性成为交际语言测试一大标志,进而成为语言测试的“核心”[2]330。
关于语言测试真实性的问题,国内外测试界的专家学者都进行过激烈的探讨。
Bachman和Palmer[3]17认为,实用性(usefulness)作为指导测试的基本原则之一表现在六个方面:信度、理念效度、真实性、交互性、后效作用和实用性,其中真实性是语言测试的一个重要特征。
Morrow(1991)认为真实性问题是语言测试一个重要的问题,Wood(1993)认为语言测试的两个主要问题——信度和效度,可以归结为真实与不真实的问题。
国内一些专家也提到了语言测试的真实性问题,如邹申(2001)探讨过口试的真实性,孔文,李清华(2003)对语言测试真实性进行过多维度研究,黄大勇(2004)介绍过语言测试中的真实性概念,周胜(2006)对语言测试各环节真实性做过概述,近几年,汪顺玉,彭康洲(2009),李新博(2011),徐启龙(2012)等,也都探讨过语言测试真实性问题。
如何判断信息的真伪性在当今信息化时代,信息的获取和传播已经变得异常便捷,但是信息的真伪性却成为了一个非常严峻的问题。
假新闻、虚假信息频繁出现,对人们的思维和行为产生了严重影响。
因此如何判断信息的真伪性,也成为了当代人需要了解和掌握的基本能力。
下面从多个方面,让我们来了解一下如何正确判断信息的真伪性。
一、查看資料來源在面对某一条信息时,我们需要查看该信息的具体来源,例如媒体、社交媒体、政府机构、专家学者等。
其中,媒体机构是信息公正性较高的来源之一,而社交媒体则是来源不可信性较高的地方。
一旦发现某一消息来自不可靠的来源,我们就可以将其视为虚假、不可信的消息。
同时,政府机构、专家学者等权威机构的信息也是比较可靠的,值得信任。
二、分析信息全貌有时候某一条信息在真实性上是没问题的,但是如果这条信息被片面的报道或者被篡改,则可能会产生误导性的影响。
因此,我们需要以全貌的方式来了解和分析某一条信息。
全貌的方式,包括信息背景、信息来龙去脉等因素。
只有通过全面了解某一信息才能作出全面准确的判断,从而避免受到偏见和误导。
三、了解语言表述语言表述也是判断信息真伪的一个因素。
真实、可信的信息往往重视客观准确的表述,避免利用情感、偏见等因素来夸大事实。
而假新闻或虚假信息则采用大肆夸张、故意省略信息等手法来产生强烈的效果。
因此,在判断信息真伪时,我们需要了解消息的语言表述,避免受到情感因素的影响。
四、多样化的信息来源在判断信息真伪时,我们需要尝试着从多种渠道获取信息,并进行了解和分析。
不要轻易相信某一条信息,如果条件允许可以搜索多个来源,从中得出共性和差异性,判断出信息的可信性。
与此同时,我们也可以从不同的观点和立场来思考某一问题,避免偏见和篡改。
五、查看其它可靠信息验证平台在借助网络获取信息时,我们可以借助各种信息验证平台来搜集“中国验真网”、“麦克风”等。
这些平台提供了信息验证、事实查证等服务,验证信息的真伪性、真实性。
语言测试学理论1. 简介语言测试学是应用语言学的一个分支领域,主要研究语言测量和语言测试的理论和方法。
语言测试学对于评估和衡量个人或群体的语言能力和发展具有重要意义。
本文将介绍语言测试学的重要理论和方法,并探讨其在教育和职业领域中的应用。
2. 语言测试学的重要理论2.1 难度理论难度理论是语言测试学中的一个重要理论,用于确定语言测试题目的难度级别。
根据受试者的能力和题目的难度,可以借助难度理论来确定合适的测试题目,以评估测试对象的语言能力水平。
难度理论基于概率统计方法,通过计算受试者答题的正确率和错误率,来推断受试者的语言能力水平。
2.2 信度理论信度理论用于评估语言测试的信度,即测试工具测量的稳定性和一致性。
在语言测试学中,信度评估是确保测试结果的可靠性和准确性的关键步骤。
常用的信度评估方法包括测试重测信度、平行测试信度和内部一致性信度。
2.3 效度理论效度理论用于评估语言测试的效度,即测试结果的准确性和适用性。
效度评估需要确保测量工具能够准确反映被测者的真实语言能力水平,并与所评估的实际目标相关联。
常见的效度评估方法包括内容效度、构效度和预测效度。
3. 语言测试学的方法3.1 传统测试方法传统的语言测试方法通常采用笔试形式,通过选择题、填空题、翻译题等方式来评估受试者的语言能力水平。
这些传统测试方法的优点在于评估结果直观、易于统计和分析,适用于大规模测试。
3.2 口语测试方法口语测试方法主要用于评估受试者的口语交际能力。
口语测试可以通过面试、对话等方式进行,以真实场景模拟语言使用环境,评估受试者的口头表达、交流和理解能力。
3.3 创新测试方法随着技术的发展,创新的语言测试方法逐渐应用于实际测试中。
这些方法包括基于计算机的自动评分、虚拟现实技术、游戏化测试等。
创新测试方法的优点在于能够提供更加真实、客观和全面的语言能力评估。
4. 语言测试学的应用4.1 教育领域语言测试学在教育领域具有广泛的应用。
大学英语教学中的多维评测模式研究摘要:大学英语教学评测是基于语言测试理论的一种教学评测手段。
该研究旨在通过改革现有的测试模式,建立多维度的教学评测体系,在各阶段采取多种形式对学生进行考核和检测,对课堂教学和学习过程起到推动作用,避免重知识轻技能和“哑巴英语”现象的出现。
关键词:大学英语教学多维评测模式教学评测体系教学评测是指依据一定的科学标准,通过各种测量对相关资料的收集,对教学活动及其效果进行客观衡量和科学判定的系统过程,是教学活动中极其重要的一个基本环节。
传统的教育评测手段局限于笔试评测,重知识轻能力,重成绩轻素质,忽视对学生学习过程的评测,使部分大学生出现“哑巴英语”的现象,严重阻碍学生的全面发展和高校英语教学质量的提高。
因此,改革现有的测试模式,采取多维度的教学评测体系,在教学的各个阶段采取多种形式对学生进行考核和检测,对大学英语教学水平的提高具有现实意义。
1.语言评测基础理论语言测试是外语教学和外语学习过程中有计划有目的的一个重要环节,是用来检测教学效果和是否达到教学期望值的手段。
作为语言教学的重要组成部分,语言测试不仅能够评定学生的学习成绩,而且可以了解学生掌握语言的实际水平,借此检查教师讲授和学生学习的效果,从而改进教学方法,提高教学质量。
随着交际教学法的发展,l.f.bachman认为语言交际能力就是把语言知识和语言使用的场景特征结合起来的能力,因而语言测试必须在真实的语境中采用真实材料来进行,以观察学生在真实语境中使用语言交际的能力,并以此来判断学生的语言水平。
评测模式是否合理,需要综合考查它的效度、信度、实用性和反拨作用。
从总体上说,测试效度是指测试考查了原定需要考查的内容,考试的结果能用来评判预定要测试的语言能力。
除具有各项效度以外,测试还必须有信度,信度是指测试结果的稳定性,如果分数忽高忽低,就说明信度不高。
效度和信度关系密切,但不能混为一谈,它们之间的关系是单方面的,信度差一定效度差,但效度差不一定信度差。
语言测试的评析标准1、效度2、信度3、区分性4、可行性5、反馈作用(后效作用)效度•效度:又称有效性,指测试的有效程度,即测试的内容和方法是否能测出预定要测量的东西•效度分类:表面效度、内容效度、结构效度及效际关联效度。
表面效度/内容效度•表面效度是指某个测验或考试从表面看是否测量了它旨在测量的东西,有无缺漏的东西,有无偏题怪题。
这是观察者靠主观评价得来的效度。
这种对效度的主观评价能在一定程度上反映测试的质量。
•内容效度:指测试的内容是否是应该考查的,是否反映了这项测试的要求,或者说试题所包含的内容的代表性、准确度和覆盖面如何。
评价内容效度主要是采用逻辑方法进行定性分析,通常是由专家审定。
结构效度/校标关联效度•结构效度:又称理论效度。
指考试的结果在多大程度上符合我们根据某种理论做出的预测,而用这种理论来解释测试的成绩。
结构效度是效度的核心问题。
•校标关联效度:是指确定一种能反映测试效度的参照标准,然后考察某一考试与该标准之间的相关程度,这种效度标准通常是其他效度高的考试,尤其是大规模的标准化考试;也可能是受试者的平时成绩或能力表现,甚至是教师所做的等级评定等影响效度的因素:1、测试目的不明确2、命题方面的技术性问题会影响效度3、组织管理方面的问题也会影响效度信度:•信度:又称可靠性,指测试结果的可靠程度或稳定性,即考试成绩是否反映了受试者的实际水平考试分数越接近受试者的真实水平,考试的信度越大。
衡量信度的三个因素:•测试的稳定性:又称再测信度。
即相同一套题在较短的间隔和尽可能相似的环境中对同一批受试者连测两次,然后计算两次测试分数的相关系数,相关系数越大信度就越高。
•测试的等值性;也称复本信度即用同一考试的两份具体题目不同但题型内容等值的试卷,对同一批受试者在没有太多时间间隔的情况下进行测试,然后算出两次测试成绩的相关系数。
•测试的内部一致性:也称内部一致性信度,常用分半法,即用一份试卷施测,然后将该试卷按奇数和偶数分成题数相等的两份,求这两份的相关系数影响信度的因素:•测试的题量:题量大,代表性好,分布均匀,测试的信度就高,反之则低,题量是影响信度的主要因素。
科技信息 2008年第 17期 SCIENCE &TECHNOLOGY INFORMATION我们知道 , 测试是教与学的向导 , 而为了让它发挥出向导的作用 , 一份好的试卷是必不可少的 , 而且是至关重要的 . 一般情况下 , 我们判断一份试卷的好坏的主要标准是:是否有信度、效度、区分度、实用性、全面性、公正性及后期效应。
其中, 以信度和效度最为重要。
一、语言测试的信度语言测试的信度, 又叫可靠性, 是指考试结果的可靠性和稳定性。
即看学生的分数是否稳定, 如果同一个学生做同一套试卷 , 做的几次的结果都是一致的 , 那么我们说这次考试是有信度的; 反之 , 如果分数忽高忽低就说明信度不高 , 那么表明考试的信度不高。
信度可以分为复测的效度、判卷的效度和每一个测试项目的效度。
同一学生不管考多少次, 所得的分数都是一样, 那么就说这个分数有复测的可靠性。
影响分数的一个很重要的因素就是判卷人, 在判卷过程中, 不同的判卷人对同一试卷也会做出不同的反映; 同一个人在不同的时间对同一试卷给的分数也是不一样的。
试卷不仅要达到其整体的可靠性, 而且每一题都必须能达到这个标准, 那才是一份有信度的试卷。
与能力无关却又会影响试卷信度评判的因素有很多,例如:1. 考试条件差, 天气热、考场周围太吵闹等。
2. 考试条件不一样。
同一个学生在安静与吵闹的环境中做同一份试卷,其结果不一样。
3. 监考施策。
不同的老师对考生的松与严, 看见考生作弊或违纪不勒令禁止。
4. 题目要求不清, 学生根本无法弄清题义, 也就无法真实的反映考生的水平。
5. 保密工作做的不好, 泄题事件发生。
6. 评分。
主观测试的评分常常因评卷人而异, 难以达到较高的信度; 客观试卷的评分不受评卷人的影响因此信度较高。
7. 样品数量太小, 样本不足。
8. 身体及心理状态不好等等, 这些因素都会影响到信度。
因此, 为了提高信度, 我们必须对症下药, 采取各种措施。
语言测试真实性的多维分析孔文1,李清华2(1.宁波大学科技学院,浙江宁波315211;2.绍兴文理学院外语系,浙江绍兴312000)摘要:语言测试中的“真实性”一直是个颇具争议的概念。
虽然其重要性已受到语言教师和测试研究者的关注,但对其构成成分及其在测试中可实现的程度意见不一,主要有真实生活观、巴克曼的双维分析以及斯彭斯和布朗的多维分析观点。
当前在真实性研究中存在的主要问题是建构更全面的理论框架并进行更多的实证性研究。
关键词:语言测试;真实性;多维分析中图分类号:H09文献标识码:A文章编号:1002-722X (2003)01-0055-04Multidimensional Analysis of Authenticity in Language TestingKONG Wen 1,LI Oing-hua 2(1.Science &technoIogy CoIIege ,Ningbo University ,Ningbo ,Zhejiang Prov.,315211,China ;2.Foreign Languages Department ,Shaoxing University ,Shaoxing ,Zhejiang Prov.,312000,China )Abstract :Authenticity in Ianguage testing has aIways been a controversiaI concept.AIthough many Ianguage teachers and test researchers have recognized its importance ,there is disagreement about what constitutes authenticity and about the IeveI of authenticity that can be reaIisti-caIIy achieved in Ianguage tests.the theories incIude the reaI Iife approach ,Bachmanfs bi-dimensionaI anaIysis and Spence-Brownfs muItidi-mentionaI view.A more comprehensive framework and more empiricaI researches are needed before the probIem of authenticity can be soIved.Key words :Ianguage testing ;authenticity ;muItidimentionaI anaIysis1.引言巴克曼和帕尔默(Bachman &PaImer ,1996:17)提出,作为指导测试的基本原则之一的实用性(use-fuIIness )表现在六个方面:信度、理念效度、真实性、交互性、后效作用和适用性,并且把这六个特征作为评价一项测试质量的主要依据。
但“真实性作为试题质量的关键标准之一,虽在语言测试研究者之间争论了十几年,但在语言测试课本中却鲜有提及”。
(1996:23)在国内,有的学者也谈及测试的真实性问题,(李筱菊,1997;韩宝成,2000)邹申(2001)和李清华(2001)分别探讨过口试及交际测试的真实性问题。
但对真实性的全面研究尚嫌缺乏。
因此,本文拟就测试真实性作进一步探讨。
2.语言测试真实性的研究背景70年代初,海默斯(Hymes ,1972:218)“交际能力”说使人们认识到语境及社会文化因素在交际中的重要作用。
到了80年代,卡纳尔和斯温(CanaIe &Swain ,1980;CanaIe ,1983)对交际能力进行了补充,90年代,巴克曼(Bachman ,1990:81-107)的“交际语言能力”(简称CLA )说进一步完善了交际能力理论。
CLA 由三个部分组成:语言能力、策略能力和心理生理机制。
其中,策略能力把语言能力与语言使用者的世界知识和真实的语境联系起来。
语境成为交际语言使用中不可缺少的一部分。
这些理论对语言教学和测试都产生了深刻影响。
在语言教学方面,日益普及的交际教学强调语言材料应是现实生活中所使用的真实材料,学生之间的交流也应符合真实交际的特点。
语言观和语言教学观的变化必然引起语言测试发生相应变革。
近年来迅速发展的交际语言测试要求测试内容、方法、手段等都尽可能地复现真实交际的特点。
这样,语言测试中的真实性问题被提上日程。
语言学家对测试中收稿日期:2002-09-10作者简介:1.孔文(1970-),女,山东曲阜人,宁波大学科技学院讲师,硕士,主要研究方向为语言测试、语用学;2.李清华(1965-),男,山东金乡人,绍兴文理学院讲师,硕士,主要研究方向为语言测试、英语教学法。
第26卷第1期2003年1月解放军外国语学院学报JournaI of PLA University of Foreign Languages VoI.26No.1Jan.2003的真实性的关注始于卡罗尔(CarroII,1961)关于综合测试和分离式测试的论述。
《语言测试》(Language Testing)第二期(1985)对测试中的真实性问题出专号进行了讨论。
下面就有关测试真实性的几种主要观点加以探讨。
3.国内外学者对真实性的研究3.1真实生活观(reaI Iife approach,简称RL 观)RL观认为真实性指“测试行为复现某种特定的非测试语言行为的程度”。
(Bachman1990:301)这种观点强调两个方面:(1)测试卷面真实性及其对受试者的影响,即测试的卷面效度;(2)测试行为预测非测试行为的准确性,即测试的预测效度。
RL 观有三条相互联系的基本原则:(1)测试对象即真实生活行为;(2)真实性的标准即真实生活行为本身;(3)卷面效度、内容相关性和预测效度足以证明测试的整体效度。
巴克曼和许多其他的测试研究者都意识到这种真实性观点存在着不少问题。
首先,在外语测试中,作为真实性标准的真实生活是目的语使用者的真实生活,还是外语学习者的真实生活?其次,把真实生活作为测试的对象可行吗?在多数情况下,真实生活中的任务一旦被用来作为测试任务,或多或少会失去一些特征。
造成这些困惑的主要原因在于RL观没有区分语言能力和语言行为。
但RL观却把能力的行为表现看做能力本身。
RL观把能力与行为等同起来,就严重限制了真实性的可操作性及测试成绩的解释和使用。
(李清华,2001:69)在口试方面,表面效度不等于测试的真实性,真实性不局限于现实语言运用情景,因而口试不一定要出现模仿现实口语活动的特定场合。
(邹申,2001:77-78)此外,仅仅根据卷面效度、内容相关性和预测效度就能说明某项测试效度的高低吗?卷面效度尽管有一定的实用价值,却带有很大的主观性。
因此,斯坎(Skehan,1987)、巴克曼(Bachman,1990)等测试研究者均不赞同把卷面效度作为评价测试的根据。
怎样证明直接测试内容的代表性和预测效度呢?肖汉姆和里夫斯(Shohamy&Reves,1985)、斯波克斯(SpoIsky,1985)、徐强(1992)等都曾经探讨过直接测试所面临的两难处境。
“我们不可能罗列一份我们能从中取样的全面清单。
”(SpoIsky,1985:150)具有一定主观性的取样又怎能保证测试有较高的预测效度呢?由此可见,把真实生活作为语言测试的对象和评价标准都存在一些难以解决的问题。
3.2巴克曼对语言测试真实性的双维分析巴克曼及帕尔默(Bachman,1990,Bachman& PaImer,1996)在两部测试专著中对语言测试真实性问题作了较为全面的阐述,可概括为两种观点:交互能力观(interactionaI abiIity approach,简称IA观)和一致观(correspondence approach)。
3.2.1交互能力观IA观把测试的真实性看做是受试者与测试任务之间的互动。
所谓互动是指“在完成测试任务中受试者个人特征参与的程度与类型”。
(Bachman& PaImer,1996:25)互动程度愈强,试题的真实性程度就愈高。
与测试相关的个人特征包括受试者的语言能力(语言知识和策略能力/元认知策略)、话题知识和情感图式。
概括起来,IA观有以下特点:(1)强调交际语言使用的区别性特征,即语言使用者与语境和语篇之间的交互作用;(2)强调利用影响测试行为的诸多因素的理论框架来编写包括语言使用特征的测试。
因而人们的注意力就从如何在非测试行为中取样转移到选择合适的测试方法,从而有效地激发考生与测试环境、语篇之间的充分的交互作用。
IA观的关键问题在于建构一个涵盖影响测试行为的诸多因素的理论框架。
巴克曼(1990)提出了解释语言测试行为的一般模式。
该模式包括四个范畴:交际语言能力、测试方法层面、个人特征和难以控制的测量错误。
测试的目的是衡量考生的交际语言能力,因此在测试中要充分考虑其他几种因素的作用,尽量减少它们对测试行为及测试成绩的不利影响。
3.2.2一致观巴克曼和帕尔默对测试的真实性的进一步研究融入到了测试的两大基本原则(一致性原则和实用性原则)的探讨之中,把真实性定义为“特定测试任务的特征与目标语使用任务特征的一致性程度”。
(1996:23)这一定义使真实性在测试中的可操作性大大增强:首先,既然特征的一致性是真实性的关键,那么,只要使测试任务尽可能具有目的语使用任务的特征,该测试就具有较高的真实性;其次,目的语使用任务的特征主要涉及交际能力、语言环境及其他测试方法层面的因素,而这些因素可以根据巴克曼的模式总结出来;第三,真实性是一个相对的、动态的概念。
巴克曼的交互能力观及巴克曼和帕尔默的一致观加深了人们对测试真实性本质的认识。
不过,IA 观涉及受试者特征与测试任务的交互作用,一致性原则涉及测试任务特征与目标语使用任务特征,都·65·解放军外国语学院学报2003年属于真实性的双维分析。
笔者认为,这两位专家的观点至少有两点应加以修正:第一,作为实用性特征之一的交互性应视为真实性的一个方面;第二,他们提出的“一致性”原则应置于真实性的范畴之内。
可见,真实性尚需在更广泛的层面加以研究。
3.3斯彭斯和布朗对语言测试真实性的四维分析斯彭斯和布朗对巴克曼等人的观点进行了扩展,他们从四个角度展开对测试真实性问题的探讨,即:(1)测试任务的真实性;(2)受试者与测试任务之间互动的真实性;(3)参与者之间互动的真实性;(4)评分标准及其应用方式的真实性。