教育测量与评价课件(3)(第三章 教育测量与评价的质量特性)..

内容效度的分析方法
① 逻辑分析的方法 内容效度的逻辑分析法，即依靠有关专家对测验题目与应测内容范围的吻合程度 作出判断。 ② 内容效度的量化分析方法 该方法要求专家在仔细审阅测验目标的基础上，独立地对测验的每个题目作出 判断：“该题目实际测到的内容与其欲测量的目标内容之间相关程度如何，并用四 点量表（用完全无关、有点相关、相关较密切、完全相关来表示）来表示这种相关 的程度大小”；当两位专家完成此项工作后，统计弱相关（完全无关、有点相关）、 强相关（相关较密切、完全相关）的题目数，则此测验的内容效度系数为：内容效 度系数 =D/（A+B+C+D）（ D 表示两位专家都判定为强相关的题目数 ）
SE S X 1 rXX
测量标准误的意义 测量标准误是反映测量结果精确性和可靠性的又一指标，同时也 是人们正确解释测验分数的科学依据。
效度的概念
效度的意义 效度是指一个测验或量表实际能测出其所要测量的特性的程度。 对这 一概念，我们可以从以下几个方面来理解:
① 效度始终是针对一定测量目的而言的；
W
1 K2 12
N
s
3
N

标准参照测验的信度分析
（１）百分比一致性指标（PA） 百分比一致性指标是指同一测验或两平行测验先后两次施测，其对被试 的分类结果一致的比例。其计算公式为： PA a d N （２）K一致性系数 K一致性系数是指实际被评定为一致的百分比与在理论上被评定为一致 的最大可能次数百分比的比率。其计算公式：
思考题 如何理解“效度”的意义？
答:
效度是指一个测验或量表实际能测出其所
要测量的特性的程度。对这一概念，我们可以从以下 几个方面来理解：
（1）效度始终是针对一定测量目的而言的；
（2）效度只有程度上的差异；
（3）效度是针对测量结果而言的；
（4）评价一个测量是否有效要多角度、多方面 地收集证据。
内容效度
理特质，那么实测结果就是该特质水平的反映。 （3）同质性信度不适用于异质测验和速度测验。
同质性信度的估计方法
（1） 分半信度 分半信度指是的将一个测验分成对等的两半后，所有被试在这两半上所得分数 的一致性程度。 分半信度的计算方法和等值复本信度的方法类似，只不过分半信度计算的是两个 “半测验”上得分的相关系数，只是半个测验的信度，还必须用斯皮尔曼—布朗公 式加以校正rxx 2rhh 1 rhh 。 （2） 库德－理查逊信度 该方法适合于测验题目全部为二分记分题的测验的内部一致性信度分析。常用 的库德－理查逊公式有： K X K X K pi qi KR21 1 和 KR20 1 2 2 K 1 K 1 Ks x sx （3）克龙巴赫系数 当测验题型较多，并非都是二分记分题时，估计测验信度可采用克龙巴赫系数。
效标关联效度
效标关联效度的含义、种类及适用范围 效标关联效度是指一个测验对于处于特定情境中的个体行为进行预测时的有效性。 根据效标资料获得的时间不同及测验使用的目的不同，效标关联效度可以分为： ① 同时效度：测验分数与效标资料的取得约在同一时间内连续完成，计算这两种资 料的相关系数即代表测验的同时效度。这种效度的目的主要用于诊断现状，在于用更简 单、更省时、更廉价和更有效的测验分数来取代不易搜集的效标资料。 ② 预测效度：在测验分数取得一段时间后才获得效标资料，计算这两种资料间的相 关系数即代表测验的预测效度。预测效度的作用在于预测某个个体将来的行为。 效标关联效度的估计方法 ① 相关法：该方法就是计算测验分数与效标测量的相关系数，具体方法有：积差 相关、等级相关、点双列相关、二列相关、四分相关、Φ相关、列联相关法等等。在使 用过程中，该选择何种计算方法，应根据测验分数与效标测量数据资料的形式而定。 ② 显著差异法：该方法是根据效标测量将被试分为两个极端组，然后检验这两组测 验分数是否具有统计学上的差异显著性。若这两组被试的测验分数差异，则说明该测验 有较高的效度。 ③ 命中率：当测验用取舍决策时，常使用命中率这一指标。因为这类测验效度高不 高，就是看其取舍是否与实际一致。命中率包括总命中率、正命中率和负命中率三种。
第三章
教育测量与评价的质量特性
教育测量与评价的信度 教育测量与评价的效度
教育测量与评价中项目的难度
教育测量与评价中项目的区分度
信度的意义
信度是指测量结果的稳定性程度，记为rXX 。换一句话说， 信度是指用同一测量工具反复测量同一种物质对象所得多次测 量结果间的一致性程度。
测验信度是对测验工具及其操作的整体质量的一种量度，
思考题
效度的异同?
试比较内容效度、结构效度、效标关联
相同点：三者都是作为检验测验有效程度的指标，都可以作为 评价一个测验优劣的标准。 不同点：① 考察的角度不同。内容效度是指测验题目样本对于应测内 容与行为领域的代表性程度。结构效度是指一个测验或量表实际测到所要 测量的理论结构（结构是指心理学或社会学上的一种理论构想或特质）的 程度。效标关联效度是指一个测验对于处于特定情境中的个体行为进行预 测时的有效性。 ② 应用的范围不同。内容效度主要适用于教育测量（尤其是学业成就 测验）的情境中，也适合于某些用于选拔和分类的职业测验，但对于某些 特质的心理测验（如智力测验、人格测验），内容效度并不适合。结构效 度主要用于智力测验、人格测验等一些心理测验方面。效标关联效度适用 于能够找到有效效标的测验，常用的效标主要有：学业成就、等级评定、 临床诊断、专门的训练成绩、实际的工作表现、对团体的区分能力以及其 它现成的有效测验。 ③ 确定的方法不同。内容效度确定的主要方法是逻辑分析法、量化分 析法。结构效度确定的主要方法是测验内部寻找证据法、测验之间寻找证 据法和考察测验的实证效度法；效标关联效度确定的主要方法有相关法、 显著差异法、命中率。
（2）重测信度基本假设：某测验所要测量的潜在特质，短 期内不会随着时间推移而改变。
（3）重测信Байду номын сангаас适用于异质性测验（一个测验包括几个不同
的部分，这几个部分分别测量几个不同的心理特质，它们之间 可能并不存在相关或相关较低），也适用于速度测验和运动技
能测验。
复本信度（等值性系数或等值稳定性系数）
（1）复本信度是指两个平行测验（在试题格式、题数、难度、指导语 说明、施测要求等方面都相当，并且都用来测量相同潜在特质或属性，但
结构效度
结构效度的含义 结构效度是指一个测验或量表实际测到所要测量的理论结构（结构是指心理学 或社会学上的一种理论构想或特质）的程度。 结构效度的验证一般步骤 ① 提出有关理论结构的说明，并据此设计测量用的试题； ② 提出可以验证该理论结构是存在的假设说明； ③ 采用各种方法收集实际的资料，以验证第二步提出的假设的正确性； ④ 收集其他类型的辅助证据，淘汰与理论结构相反的试题，或是修正理论，并 重复第二和第三步，直到下述的假设得到验证，即测验的结构效度获得支持为止。 结构效度的验证方法 ① 测验内部寻找证据法 这种方法是通过研究测验内部结构来验证测验的结构效度。它主要包括内容效 度、作答过程分析、测验的同质性和因素分析等四个方面。 ② 测验之间寻找证据法 这一方法的特点是同时考察两个或多个测验间的相互关系，从而来验证测验的 结构效度。它包括相容效度、聚合效度、区分效度和“多种特质－多种方法矩阵法” 等具体方法。 ③ 考察测验的实证效度法 如果一个测验有实证效度，则可以拿该测验所预测的效标的性质与种类作为该 测验的结构效度指标，至少可以从效标的性质与种类来推论测量的结构效度。主要 方法有差异被试比较法和先后测试分析法。
答:
难度的概念
题目或项目的难度，就是指被试完成题目或项目任务时 所遇到的困难程度。定量刻画被试作答一个题目的困难程度 的量数，就叫做题目的难度系数，也常称为难度值，用符号P 表示。
难度系数的计算方法（一）
其计算公式为：
（4） 荷伊特信度 1941年荷伊特提出用方差分量比来估计测验内部一致性的方法，其估计值为：
rxx 1 MS人题 MS人
2 K s i 1 2 K 1 sx

评分者信度
评分者信度的含义 评分者信度是指多个评分者给同一批人的答卷进行评分的一致性程度。 评分者信度的计算 （1）当评分者人数为两人时，评分者信度等于两个评分者给同一批被 试的答卷所评分数的相关系数。依据数据形式，可采用不同的相关系数计 算方法。 （2）当评分者人数多于两人时，评分者信度可用肯德尔和谐系数进行 估计。
K PA P C 1 P C
（ 其中
ab ac cd bd P C N N N N （３）K2 指数
）
标准参照测验关注决断的可靠性，而这种决断显然与被试团体的平均水 平密切相关。在考虑到这个因素的基础上，心理统计学家莱芬斯顿提出了K2 指数作为考察标准参照测验信度的指标。其计算公式为：
定义3： 信度是一个被试团体在测验X（A卷）上的观察分
数与在测验X的任意一个“平行测验” X´（B卷）上观察分数 的相关系数。即： ｒXX= ρXX´
重测信度（稳定性系数）
（1）重测信度是指用一个量表（测验或评价表）对同一组 被施测两次所得结果的一致性程度，其大小等于同一组被试在
两次测验上所得分数的相关系数。
是测验性能的重要质量指标。如果测验本身抗干扰能力强，测 验实施过程各方面误差因素都控制得好，多次施测所得分数 （测值）的一致性就高，那么测量信度高，人们在使用所得测 值时就会感觉可靠。
信度的统计定义
定义1：信度是一个被测团体真分数方差与观察分数方差之 比。即：ｒXX=σ2T / σ2X 定义2：信度是一个被试团体的真分数与观察分数的相关系 数的平方。即：ｒXX=ρ2TX
② 效度只有程度上的差异； ③ 效度是针对测量结果而言的；
④ 评价一个测量是否有效要多角度、多方面地收集证据。