教育测量与评价教案 第4次课 效度

（二）效标关联效度
又称经验效度或统计效度，是以测验分数和效标之间的相关系数来表示测验的效度高低的。
效标就是足以显示测验所欲测量的特性的变量或足以显示测验所欲测量的特性的变量，作为检定效度的参照尺度。
效标关联效度又可分为同时效度和预测效度。
同时效度指测验与当前效标之间的关系程度；预测效度指测验与将来的效标之间的关联程度。如用全国高考的成绩作为效标来检验高中毕业会考的成绩，计算两者的相关系数就是会考的同时效度；而用大学一年级的成绩作为效标来检验高考的成绩，两者的相关系数就是高考的预测效度。
效标关联效度的计算主要通过计算相关系数求得，可用积差相关、二列相关或点二列相关、四格相关和多元相关系数等。（参见有关教育统计学教材）。
（三）结构效度
指一个测量能实际测量出理论上的概念或心理特性的程度。它的目的在于用心理学的概念来说明分析测验分数的意义，也就是说从心理学的理论观点就测验的结果加以解释和探讨。
首先，测量的效度始终是对一定的测量目的而言的。一般而言，任何测量都有某种特定的目的和功能，判断效度高低，就是判断测验达到目的的程度。
其次，测量的效度也是对测量的结果而言的。一种测量工具只能经过实际测量，才能根据出来的结果判断它的效度。所以也可以把效度理解为测量的结果正确反映所欲测量的特性或功能的程度。对于任何一种测量来说，只有当它的测量结果真实、正确地反映所欲测量的功能和特性时，才能认为这种测量是较为有效地或效度较高的。
教案4
课时安排
2学时
教学次序
第4次课
授课题目
第二章教育测量的质量指标
§3效度
教学目标
掌握教育测量与评价的效度的概念和计算方法，了解效度的影响因素，理解提高效度的方法
教学重点
效度的计算方法
教学难点
提高效度的方法
教学方法
讲授法、练习法
教学过程设计
第三节效度
一、概念
指测量结果的准确性和有效性的程度，亦即测量是否达到了预期目的。
3、妥善组织测验。
4、扩充样本的容量和代表性。
5、合理处理效度和信度的关系。信度是效度的必要条件。虽然信度高的测验效度不一定高，但效度高的测验，信度却一定比较高。效度和信度的关系是：效度的最大值等信度的平方根。但是，既要有高效度同时又要有高信度是不大可能的。例如，同质性测验（量表的所有题目测验相同的因素）信度较高，但对预测来说，效度却很低。非同质性测验（其测验内容测量不同因素）预测效度高，但是信度却比较低。所以，要提高预测效度的一个重要办法，是增加非同质性，即增加新因素。在处理信度和效度的关系上，首先要保证高的效度。
估计内容效度的方法：
1、逻辑分析的方法。这是根据教育学和心理学的理论，根据教学大纲要求，勾画出学生掌握知识内容的范围和深度，提出应形成的技能名称，然后以逻辑分析的方法估计测验在多大程度上代表了这些内容，在多大程度上能够测量出所要测量的特性和功能。
2、用测验题目与教材内容比较的方法。这需要先制两个表：一个是测验的双向细目表（见第三章），分别列出所要测验的各单元教材内容在考题中应占的百分比和所要求的各种行为的反应在全部反应中的百分比。另一个表是测验试题分类表，根据各单元教材内容列出试题，并注明该题所要求的行为反应及其应占的百分比。然后对照这两个表，根据各个部分相符合的程度判断内容效度的高低。
对效度系数大小的要求，也受原始与获得效标的测验之间的相似性制约。若二者不相似，则效度系数偏低；若相似，则效度系数会高些。
（二）影响效度的因素
1、测验组成方面：测题的性能是影响测验效度的因素之一，如测验的取材、长度、辨别力、难度及其编排方式等都和效度有关。
2、测验实施方面：一个测验的效度要保证，主试应适当控制测验情境，遵照测验守则的各项规定实施。
二、效度理论公式
实得分数可分解为潜在真分数，系统误差，随机误差三部分。
三、效度的分类及估计
（一）、内容效度
指测验目的代表所欲测量的内容和引起预期反应所达到的程度，也就是测量内容的代表性程度。
在编制测验时，内容效度是一个相当复杂和不易解决的问题。以成绩测验来说，固然要求测验题目能代表所学习过的全部内容，但仅仅在形式上做到这一点还不能保证足够的内容效度，因为学习成绩的高低要从学习内容的巩固程度、理解程度和应用能力几种行为反应去考察。如果测验题目大多是只需要牢记教材就可以回答的问题，那么，对全面测验学生的成绩这一目的来说，内容效度仍然不高。
（三）提高效度的办法
1、控制系统误差。
2、精心编制量表。首先，测验内容要确实能反映测验目的；其次，题目表述必须清楚、简明，所用字、词、句能为学生理解，内容应能引起被试者的兴趣，排列则易到难，但前面的题目不应暗示后面的答案；再次，题目难度合适，有足够区分度；最后试卷印刷清楚，无错误和遗漏，并力求精美。
第三，一种测量的效度只是高或低的问题。因为，一种测量在编制时，总是针对一定目的而编制的。不存在无效度的测量，只是高或低的问题而已。
第四，在教育测量中，效度问题比在其他领域的测量更为重要。因为，首先，教育测量的对象大多是精神现象，只能通过对其具有可测性的外部表现（如言语或动作等）的测量，以间接认识其心理活动、心理特征或知识水平等。其次，学生的心理活动、心理特征与其外部表现之间，一般仅具有相关关系而无函数关系，外部行为并不能准确无误地反映某种心理状态。此外，教育测量的对象不是物而是具有主观能动性的人，人能有意识地调节自己的外部行为，掩盖自己的内心活动，这就增加了认识其精神现象的难度。
例如，从现代智力理论，可以推断四项主要功能上的假设：（１）智力随年龄增长；（２）智商是相对稳定的；（３）智力受遗传影响；（４）智力与学业成就有密切关系。因此，在根据上述的假设编制智力测验后，就要从上述四个方面进行检验。由此可见，结构效度是由累积的证据来评价，不可能有单一的结构效度指标。
确定一个测量的结构效度需要两个重要步骤。首先，必须指出，这个测量和所用理论上认为应与之有关的其它测量，有显著的相关。其次，必须指出，必须指出这个测量与所有理论上认为不应与之有关的其它测量，没有明显相关。
四、提高效度的办法
（一）各种效度的要求
不同测验对效度系数有不同要求。例如，智力测验分数与教师对学生的等级评定之间的效度系数一般在0.3—0.5的范围内；相同科目的标准测验成绩与教师对学生名次排列之间的相关系数一般应达到0.60—0.70之间；两种不同的智力测验或标准测验之间的相关系数应达到0.60－0.80，才能符合要求。
5、样本方面：效度确认所依据的样本，必须能代表某一测验所拟应用的全体对象。一个测验应用于不同的对象，由于他们在性别上、年龄上、教育程度上以及经验背景上的差别，其测验功能不一致，效度也随之而异。样本规模大小对效度也有影响。样本的异质性也会影响测验的效度系数。
总之，为了增进测验的效度，必须要求测验编制和实施程度的标准化，注意被试在测验情境中的行为反应，并顾及适当样本和效标的选择，以建立符合测验目的和功能的效度。
结构效度的研究是较困难和有争议的，至今从概念上和数学上作了部分解释。确定一个测量的结构效度之所以困难，是因为效标、构想不是直接可测的，因而不能计算测量与效标的相关。
结构效度确定的方法如下：
首先从某一结构理论出发，导出各项关于心理功能或行为的基本假设；据此编制测验；
然后由果溯因，以相关、实验和因素分析的方法，检验测验结果是否符合心理学上的理论见解。
3、被试主观状态方面：被试的动机、兴趣、情绪、态度和身体健康及是否充分合作与尽力而为等都能影响结果的可靠性和正确性。
4、估计效度所依循的效标：选择适当的效标是统计效度的先决条件。如因所选效标不当，以致测验的效度不能显出，则测验的价值可能被淹没。一个测验因其所采用的效标不同，其效度可能大相径庭。从统计观点来看，一个效标关联效度受下列三个因素影响：（1）测验信度；（2）效标变量测量的信度；（3）测验变量和效标变量之间真正的相关程度。
效标是用来衡量测验效度的尺度。具体而言，效标是辨别真伪的尺度，当事物满足该原则要求时，才能存在。效标是不能违反的。当然，标准可以提高，也可以降低。效标不仅随着测验的种类不同而不同，也可能随时间而改变。
选择效标是件困难而重要的事情。通常教育测验所依循的效标，可采用各学科成绩和教师的评定结果；智力测验的效标，可采用学科成绩、教师评判的结果、学生总成绩、受教育年限、年龄以及其他相关事物；能力倾向性测验的效标，可采用特殊课程或特殊训练的成绩等；职业兴趣测验的效标，可采用从业人员实际服务成绩或记录；人格测验的效标，很难找到，只能按编制者的主观标准判断，或以被试以后的行为或临床资料作为效标。
6、适当增加测验的长度
增加测验长度可以提高信度，而效度的最大值又与信度有关，所以可以提高效度。增加测验长度对信度的影响大于对效度的影响。
教学资源
朱德全.教育测量与评价[M].北京：高等教育出版社.2016
讨论、思考题、作业：
作业：分别采用内容效度、效标关联效度、结构效度进行计算
教后小结