第六章 测验的项目分析
- 格式：ppt
- 大小：369.50 KB
- 文档页数：70
下载文档原格式
合集下载
心理测量学第六章-测验题目性能与题目编写(项目分析).PPT
根据题干从备选项中选出正确选项的题目。单项 选择题指只有唯一正确选项的选择题。 2、特点功能： ①评分标准明确，评分客观，有利于减少评分带来 的评分误差。 ②有利于对基础知识和基本技能进行考查。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
心理测量学 第六章 项目分析
CV 9 . 80 14 . 44 0 . 22 ;
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
第6章测验项目分析
（2）在选择题目时，最好使试题的平均难度 接近0.5，而各题难度在0.5±0.2之间。 理由：1965年，伊贝尔的试验: 测验一：16道试题难度均在0.5左右； 测验二：试题难度均匀分布在0.2～0.8之间； 测验三：试题难度分别集中在0.2和0.8两端。
（3）对于选择题来说，P值一般应大于概 率水平。例如，对于是非题而言，其难 度应该为0.75最为合适；而对于四选一 的题目，其难度值维为0.63时最为合适。
（3）由于人的大多数心理特性呈常态分布, 所以题目难度的分布也以常态分布为好,即 特别难与特别易的题目少些，接近中等难 度的题目多些，而所有题目的平均难度为 0.50。这样不仅能保证多数题目具有较高 的区分度，而且可以保证整个测验对被试 具有较高的区分能力。
第三节 多重选择题的题目分析
对多重选择题作题目分析，可以解决以下问题: （1）题目是否具有所预期的功能?对于常模参照测 验，测题是否有足够的区分度?对目标参照测量 来说，测题是否能充分地测量到教学的结果? （2）题目的难度是否得当? （3）题目是否有缺陷? （4）诱答选项是否都有效?
二、计算方法 在理论上，题目区分度是以题目得分高 低与实际能力水平高低之间的相关来表示 的。但是，被试的实际能力水平是很难直 接测量的。在具体估计题目区分度时，我 们常用其他指标替代实际能力水平，其中 用得最多的是测验总分。
（一）鉴别指数 （1）按测验总分高低排列答卷； （2）确定高分组与低分组，每一组 取答卷总数的27%； （3）分别计算高分组与低分组在该 题目上的通过率或得分率。
对选择项的反应模式注意从以下几方面进行分析： （1）如果正确的备选答案被所有的受测者所选 择，说明该题目太容易或者可能是题目中提供 某种暗示，使正确答案过于明显。 （2）如果某个错误答案没有任何被试选择，则 说明该选项不具有迷惑性，错得过于明显，除 增加阅读时间外，不起任何作用。一般说来， 除非有2％以上的人选择，否则该备选答案应 该修改或删掉。 （3）如果所有被试都选择了同一个错误答案， 可能是编制测验时把正确答案搞错了，也可能 是在教学中发生了错误。
心理测量 第6章 项目分析
错率（用符号Q来表示）代表难度。
Q=1-P
二、难度的计算方法
（一）二分法记分的项目
PH PL P 2
高分组——总分前27%的人组成的小组 低分组——总分最后27%的人组成的小组
（二）非二分记分的项目
X P 100% X max
难度的校正公式
在是非题或选择题中，由于有猜测的 成分，被试的得分可能被夸大，不能真 正反映测验的难度，为平衡机遇对难度 的影响，可用吉尔福特的公式矫正：
第一节 项目的难度
一、定义
难度（ difficulty ），顾名思义，是指 项目的难易程度。难度分析主要用于最高 作为测验。在典型作为测验中，不存在难 易问题，一般称“通俗性”。
R P 100 % N
P值越大，表示题目越简单；数值大小
与实际的含义恰好相反，准确地说，应该
叫“易度”。因此有人用未通过率或者答
DP i Pu
说明：PH为高分组在某项目上的通过率
PL为低分组在该项目上的通过率
确定的标准，测验结果只与既定标准比较
而不在被试之间作比较。因此，测验分数
的变异性不是标准参照测验的必要条件。
所以，常模参照测验的项目分析方法不完全适用ຫໍສະໝຸດ 标准参照测验。1.难度分析
由于标准参照测验的目的是为了考察被 试对某方面的知识技能的掌握情况，因此， 只要能反映教育目标或者教育者认为重要 的内容，无论其难度为多少，都可以编入 测验。 例如，我们在教学开始之前，为了了解 学生的准备状态所进行的前测，多数题目 将产生很低的通过率，但这些题目应该保 留，因为它们表明了哪些东西需要学习。
如果高分组对正确答案的选择与低分组相
等或者低于后者，说明所考察的东西与水 平无关；
Q=1-P
二、难度的计算方法
（一）二分法记分的项目
PH PL P 2
高分组——总分前27%的人组成的小组 低分组——总分最后27%的人组成的小组
（二）非二分记分的项目
X P 100% X max
难度的校正公式
在是非题或选择题中，由于有猜测的 成分，被试的得分可能被夸大，不能真 正反映测验的难度，为平衡机遇对难度 的影响，可用吉尔福特的公式矫正：
第一节 项目的难度
一、定义
难度（ difficulty ），顾名思义，是指 项目的难易程度。难度分析主要用于最高 作为测验。在典型作为测验中，不存在难 易问题，一般称“通俗性”。
R P 100 % N
P值越大，表示题目越简单；数值大小
与实际的含义恰好相反，准确地说，应该
叫“易度”。因此有人用未通过率或者答
DP i Pu
说明：PH为高分组在某项目上的通过率
PL为低分组在该项目上的通过率
确定的标准，测验结果只与既定标准比较
而不在被试之间作比较。因此，测验分数
的变异性不是标准参照测验的必要条件。
所以，常模参照测验的项目分析方法不完全适用ຫໍສະໝຸດ 标准参照测验。1.难度分析
由于标准参照测验的目的是为了考察被 试对某方面的知识技能的掌握情况，因此， 只要能反映教育目标或者教育者认为重要 的内容，无论其难度为多少，都可以编入 测验。 例如，我们在教学开始之前，为了了解 学生的准备状态所进行的前测，多数题目 将产生很低的通过率，但这些题目应该保 留，因为它们表明了哪些东西需要学习。
如果高分组对正确答案的选择与低分组相
等或者低于后者，说明所考察的东西与水 平无关；
第六章测验项目的难度与区分度
1
2 3
4
5
6
7
8 9 10 11 12 13 14 15
65 70 31 49 80 50 35 16 81 69 78 55 77 90 42 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0
rφ
升级 留级 合计 通过 6（a） 2（b） 8（a+b） 未通过 2（c） 5（d） 7（c+d） 合计 8（a+c） 7（b+d） 15（N）
X H X L 2 NL P 2 N ( H L)
XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％
例：200人参加某测验，该测验最后一题作文 题总分30分，该题最高得分29分，最低得分 13分，高分组平均分24分，低分组平均分18 分，请计算该题的难度？
2、极端分组法
（1）客观题的极端分组法
根据测验分数按高低排序，用两个极端组在某项目 上的平均通过率表示项目的难度
PH PL P 2
PH、PL分别为高分组与低分组的通过率。
步骤：
A、按测验总分由高到低排序 B、从高分段向下选出全部试卷的27％作为 高分组 C、从低分段向上选出全部试卷的27％作为 低分组 D、按照上述公式计算项目难度值
区分度的评价标准
以上标准仅作参考，不是绝对的。事实上，项目区分 度的要求应根据测验目的而定，若测验目的在于选人， 主要评判被试的个别差异，那么区分度要求高些；若测 验只是考察被试对所学知识的掌握情况，可不过多考虑 区分度。
三、区分度对测验的影响
1.区分度与难度的关系
试题的区分度与难度有密切关系。试题难度过大或过小， 其区分度都较低。当难度值为1.00或0时，高分组和低 分组或全部通过得满分，或全部未通过得0分，这时区分 度都为0分。
心理与教育测量第六章
组被试在要计算难度的项目上的平均分。F为满分值。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
6第六章 测验的项目分析
低
中 能力
高
难度不同的3个项目的ICC
1.00 率 概 的 目 项 答 回 确 正
A B
0.50
0.00
C D
低 中 能力 高
多项选择中每个选项的ICC
二、区分度计算
项目区分度可以有不同的计算方法，我们要根据测验 的目的以及测验分数的特征来选择合适的方法。
1、鉴别指数法（适合0、1计分）
一个项目的鉴别指数指总分高分组与低分组在该 项目上的通过率之差。
注意：标准化测验一般采用27%为分组点。也可
以取总人数的1/4或1/3（即25%或33%）为分组点。 当样本小于100时，一般选50%作为分界点。
（二）非二分法计分的难度 当项目是多重计分时，难度等于平均分与满分之比。
=试题的难度 X =全体被试在该题上的平均分数 X max=该题的满分分数
P
例题
问答题满分为15分，10名被试在该题的得分如下。 试计算该题的难度。
1 2 3 4 5 6 7 8 9 10
被 试 得 分Leabharlann 131510
10
9
11
10
9
11
10
问题 有A、B两个测题，项目A为四重选择题，通 过率为0.58；项目B为五重选择题，通过率为 0.56，能否说项目A更容易，项目B更难？
鉴 别 力 较 好
低 中 高
能力
1.00 率 概 的 0.50 目 项 答 回 0.00 确 低 正 1.00 率 概 的 0.50 目 项 答 回 0.00 低 确 正
中 能力
高
鉴 别 力 较 低 鉴 别 力 为 负
中
高
能力
1.00 率 概 的 目 项 答 回 确 正
测验的项目分析
测验的项目分析第一节测验的难度难度是指测验项目的难易程度。
一个测验项目，如果大部分被试都能答对，则该项目的难度就小；如果大部分被试都不能答对，则该项目的难度就大。
进行难度分析的主要目的是为了筛选项目，项目的难度水平多高合适，取决于测验的目的的项目形式以及测验的性质。
1、在教育工作或实际工作中，若测验的目的是为了了解被试在某方面知识技能的掌握情况，可以不必过多地考虑难度，只要教育者认为重要的内容就可以选用，甚至那些通过率为100％或为0的项目都可以采用。
2、如果测验的目的是用于选拔录用人员，就应该将项目的难度控制在接近录取率左右，即较多地采用那些难度值接近录取率的项目。
例如，要从高中生中选拔15％的人参加全市的数学竞赛，则就应提高项目难度，使P 值接近0.15。
一、难度的计算测验的记分方法不同，项目难度的计算方法也有所不同。
（一）二分法记分项目的难度1、通过率如果不考虑被试作答是猜测成功的机遇，二分法记分测验项目的难度通常以通过率来表示，即以答对或通过该项目的人数的百分比来表示：P=R/N (6.1)式中，P代表项目难度，N为全体被试数，R为答对通过该项目的人数。
以通过率表示项目的难度，通过人数越多，P值越大，其难度就越小；通过人数越少，P值越小，难度越大，题目越难。
所以有人也称P值为容易度。
事实上，这里的P值与我们通常所了解的难度意义正好相反。
2、极端分组法当被试人数较多时，则可以先将被试依照测验总分从高到低排列，分成三组，总分最高的27％被试称为高分组（），总分最低的27％被试为低分组（），分别计算高分组和低分组的通过率，然后求项目的难度。
（6.2）或式中、分别表示高分组和低分组的通过率；、表示高分组和低分组通过该项目的人数；、分别代表高分组和低分组的人数。
（二）非二分法记分项目的难度对于论述题，每个项目不只有答对和答错两种可能结果，而是从满分至零分之间有多种可能结果。
对这类项目，常常用下面的公式来计算其难度。
教育科学研究方法第六章课后练习参考答案
《教育科学研究方法》第六章课后练习参考答案第六章观察法与测验法一、名词解释：1、参与性观察------是指参与到被观察者的生活和活动中去，在活动中有意识地观察。
2、非参与性观察------指不介入被观察者的生活和活动，而是冷静旁观。
3、有结构性观察------是指对于观察的内容、程序、记录方法都进行了比较细致的设计和考虑，观察时基本上按照设计的步骤进行，对观察的记录结果也适于进行定量化的处理。
4、无结构性观察------是指在事先没有严格的设计，比较灵活、机动，能够抓住观察过程中发现的现象而不必受设计的框框的限制，但是难以进行定量化处理。
5、时间取样------是指选取某一段时间作为观察记录的对象。
6、事件取样------是指选取某一类事情作为观察的对象。
7、观察策略------广义的观察策略是指在运用观察法的整个过程中所使用的方法和要求，狭义的观察策略是指在实施观察的过程中所使用的方法和要求。
8、观察法------是研究者凭借自身的感觉器官和其他辅助工具，在教育活动的自然状态下，对研究对象进行的有目的、有计划的考察与研究的方法。
9、测验------是一种系统化了的程序，在这个程序里，受测者对编制得较好的一组刺激作出反应，施测者可藉此引起对受测者所测的特质进行数量的描述。
10、难度------指测验的难易程度。
11、区分度------又称鉴别度，是指每一题目所测量的心理特性的区分程度。
12、常模------是解释分数的依据，是一个标准测验量表所必须的。
13、信度------即测验的可靠性，亦指测验结果的一致性或稳定性。
14、再测信度------同一测验前后两次施测于同一组被试，根据受测者前后两次测验分数计算所得相关系数为再测信度。
15、复本信度------如果测验有两个或两个以上的复本，先后对一组被试施测两个复本测验，这样可得到两个分数，两个分数的相关系数，称为复本信度。
16、分半信度------当题目数相当多，又奇偶题同质，在没有复本的情形下欲考察测验的信度，通常是将受测者的分数按题目的单双数分成两半计分，然后选用恰当的方法计算相关系数，称为分半信度。
第六章 测验的项目分析
二、项目难度的计算-2
极端分组法（当被试人数较多时）
将被试依测验总分从高到低排列分成三组，总分最高和最低的27%
分别为高分组和低分组。分别计算高分组和低分组的通过率，然后 求项目的难度。
PH PL P 2
1 RH RL P 2 NH NL
PH、PL分别为高分组和低分组的通过率；RH、RL分别为高分组和 低分组通过该项目的人数；NH、NL分别为高分组和低分组的人数。
三、难度水平的确定
难度水平的适合性，取决于测验的目的和性质
a) 标准化常模参照测验：接近0.50，范围在0.30-0.70间
b) 标准参照测验：不必过多考虑难度
c) 选拔和录用类测验：接近录取率
d) 速度测验：不宜太高，且每个项目基本相等 e) 难度测验：0.50左右
四、难度的等距变换-1
通过率或得分率难度属于顺序变量。
rb为二列相关系数，xp、xq、p、q、St的意义同点二列相 关系数公式；y为正态分布p与q分割点正态曲线的高度。
三、区分度的计算-5
相关
rФ为Ф的相关系数，a、b、c、d分别为四格表中四项所包 含的人次数。
四、区分度与难度的关系
应使整个测验难度呈正态分布，且平均水平在0.50左右。
五、区分度的相对性
不同计算方法所得的区分度不同。分析同一个测验时, 各个项目的区分度值要采用同一种指标。 样本容量大小影响相关法区分度值的大小。样本越小， 统计值越不可靠，算出r后，应进行统计检验。 分组标准影响鉴别指数值。分组越极端，D值越大。
被试团体的同质性程度影响区分度值的大小。被试团体
越具有同质性，项目的区分度值就越小。
四、猜测校正的缺点
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
难度 区分度 猜测问题 多选题的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
P与D最大值的关系
P 1.00 .90 .80 .70 .60 .50 .40 .30 .20 .10 .00 最大鉴别值 0.00 0.20 0.40 0.60 0.80 1.00 0.80 0.60 0.40 0.20 0.00
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 答 A B C 5 22 58 26 17 25 1 1 92 50 10 21 15 11 44 56 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
• 一个测验项目，如果大多数人能答对，则 该项目的难度就小；如果大部分人都不能 答对，则该项目的难度就大。
– 在这里，难度是题目的性质和被试水平共同作 用的结果。
测验的难度
• 依据
– 取决于构成测验的试题难度
• 一般原则
– 标准化测验：正态分布 – 效标参照测验：允许偏态分布
二、计算方法
（一）0、1记分的项目
二、具体分析步骤：
• 1、按被试测验的总分，从高到底依次排列试卷。 • 2、从最高分依次向下取全部试卷的27%作为高分 组。 • 3、从最低分依次向上取全部试卷的27%作为低分 组。 • 4、分别登记高分组与低分组选中各选择项的人数 （亦可将人数换为人数比例），然后登记。 • 5、根据登记结果进行选择项的质量分析。
数 未答 0 0 1 2 12 11 5 5
正确 答案
B A
D C
分析程序
• • • • • 抽取代表性样本(370人)，预测； 按总分高低排序，确定高低分组（27%） 求两组的通过率及平均通过率； 求鉴别力指数和相关系数； 比较高低分组的难度和区分度及不同答案 的反应； • 根据分析结果，筛选试题或修改试题；
三、测验难度对测验的影响
• （一）测验难度影响测验分数的分布形态 • 测验的难度直接依赖于组成测验的项目难度。通 过考察测验分数的分布，可以对测验的难度作出 直观分析。 • （二）测验难度影响测验分数的离散程度。 • 过难或过易的测验，会使测验分数相对地集中在 第分端或高分端，从而使的分数的全距缩小。
• 1、定义式 通过 人数
R P 100 % N
参测 人数
P值大，难度小。 P值小，难度大。
2、极端分组法
• 含义 – 以高低分组平均通过率表示的难度
步骤 高、低分组通过率
pH
RH , NH
RL pL NL
平均通过率
PH PL P 2
例4-1：200人参
加某项测验，在一 填空题上高分组48 人通过，低分组23 人通过。试问该题 的难度值是多少？
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 A 5 22 58 26 17 25 1 1
答 B 92 50 10 21 15 11 44 56 C 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
数 答 未答 案 0 0 1 2 12 11 5 5
二、具体步骤
• • • • 分析试题内容 计算区分度 计算难度 选项分析
• 求高低分组在 所有项目，所 有选项上的选 答率 • 列表 • 分析：逐个项 目地进行分析
例4-2：在100名 学生中，高分组与 低分组各有27人。 其中高分组答对第 一题的有20人，低 分组答对第一题的 有10人。试问该题 的难度是多少？
N H N L 100 0.27 27
20 PH 0.74 27 10 PH 0.37 27 0.74 0.37 P 0.56 2
四、项目难度分布的选择
• 进行难度分析的主要目的是为了筛选项目， 项目难度水平多高合适，取决于测验的目 的、测验形式以及测验的性质。 • 在教育工作中或实际工作中，若测验的目 的是为了了解被试在某方面知识技能的掌 握情况，可以不必过多地考虑难度。 • 如果测验的目的是用于选拔录用人员，就 应该将项目的难度控制在接近录取率左右。
P、D与答案分析实例
例4-12：有人计划
编制一套上海市中 学几何学科测验， 按预定题数加倍制 定测题再以项目分 析法选择最适当的 测题。现从上海初 三全域抽取代表性 样本370人为预测对 象接受测验。按学生 总分高低顺序排列， 抽取最高和最低的试 卷各27%为高低分 组。现从中选出4个 选择题，经过项目分 析获得以下结果。
Ni N H N L
200 27% 54
1 48 23 P 2 54
71 0.66 108
N H N L 200 0.27 54
48 PH 0.89 54
23 PH 0.43 54
0.89 0.43 1.32 P 0.66 2 2
• 计算题分与总分的相关系数 • 例：8名学生在某题上的得分及测验总分如下表， 求项目区分度。
学生 1 6 2 10 3 6 4 8 5 9 6 7 7 3 8 5 某题得分
测验总分
34
36
35
37
42 30 27
29
解：rxy
2 2 S x2 S y SD
2S x S y
4.4375 20.9375 10 ＝ 2 2.1065 4.5758 ＝0.7975
• 区分度的实质：题分与总分的一致性程度，或 者说就是它们的相关系数。 • 区分度的值域：D∈[-1，+1］
二、计算方法
（一）鉴别指数
• 含义
– 高、低分组通过率之差：
D PH PL
• 步骤
– 按测验总分高低排序试卷 – 确定高低分组：每组占27% – 分别计算各组的通过率 – 代入鉴别指数公式
• 各种测验的难度
– 标准化测验：0.30～0.70； – 一般测验： 极难（P﹤.1）→极易P﹥.9） – 选拔和诊断测验：接近录取率 – 效标参照测验：有时不考虑难度
• 常模参照测验
– 测验难度在0.50左右。
ห้องสมุดไป่ตู้
• 选拔测验
– 要求在录取线附近具有最强的鉴别能力。 – 对于选拔点左右的人而言，题应具有0.50左右的难度。
第三节 多重选择题的项目分析
一、分析的作用与内容
• 对该题进行品质分析，看其是否能测到你想测的那 种心理品质。 • 计算该题的区分度，看区分度能否达到要求。 • 看该题的难度是否合适、恰当。 • 正答选项的选答率是否恰当。正答选项在高、低分 组的选答率是否是正差，差距是否足够大。（理论 上是越大越好） • 诱答选项（迷惑项或分心因子）的选答率是否恰当， 诱答选项在高低分组上的选答率是否是负差，差距 是否足够大。
（二）相关法
• 某一测题分与效标成绩或测验总分的相关
• 具体方法
– 点二列相关——客观题
– 二列相关——主观题
–Φ 相关
点二列相关、二列相关和Φ 相关
变量 一列 一列 点二列相关 二列相关 连续变量 二分名称 二分名称 （人为的） Φ相关 二分名称 二分名称
积差相关：论文式题目
相关法
• 计算题分与总分的相关系数 • 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
例4-7：100人参加 某项测验，对其中四 道题做对的人数分布 如表所求，试问这些 试题的区分度分别是 多少？
题 目 1 2 3 4
做对人数 高分组 低分组 27 12 6 22 24 1 8 12
结果
题 目 1 2 3 4 做对人数 通过百分比 高分组 低分组 高分组 低分组 27 12 6 22 24 1 8 12 1.00 0.44 0.22 0.81 0.89 0.04 0.30 0.44 D 0.11 0.40 -0.08 0.37
• Δ＝13+4Z
• 计算所有题目的平均难度
第二节 项目的区分度
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
P与D最大值的关系
P 1.00 .90 .80 .70 .60 .50 .40 .30 .20 .10 .00 最大鉴别值 0.00 0.20 0.40 0.60 0.80 1.00 0.80 0.60 0.40 0.20 0.00
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 答 A B C 5 22 58 26 17 25 1 1 92 50 10 21 15 11 44 56 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
• 一个测验项目，如果大多数人能答对，则 该项目的难度就小；如果大部分人都不能 答对，则该项目的难度就大。
– 在这里，难度是题目的性质和被试水平共同作 用的结果。
测验的难度
• 依据
– 取决于构成测验的试题难度
• 一般原则
– 标准化测验：正态分布 – 效标参照测验：允许偏态分布
二、计算方法
（一）0、1记分的项目
二、具体分析步骤：
• 1、按被试测验的总分，从高到底依次排列试卷。 • 2、从最高分依次向下取全部试卷的27%作为高分 组。 • 3、从最低分依次向上取全部试卷的27%作为低分 组。 • 4、分别登记高分组与低分组选中各选择项的人数 （亦可将人数换为人数比例），然后登记。 • 5、根据登记结果进行选择项的质量分析。
数 未答 0 0 1 2 12 11 5 5
正确 答案
B A
D C
分析程序
• • • • • 抽取代表性样本(370人)，预测； 按总分高低排序，确定高低分组（27%） 求两组的通过率及平均通过率； 求鉴别力指数和相关系数； 比较高低分组的难度和区分度及不同答案 的反应； • 根据分析结果，筛选试题或修改试题；
三、测验难度对测验的影响
• （一）测验难度影响测验分数的分布形态 • 测验的难度直接依赖于组成测验的项目难度。通 过考察测验分数的分布，可以对测验的难度作出 直观分析。 • （二）测验难度影响测验分数的离散程度。 • 过难或过易的测验，会使测验分数相对地集中在 第分端或高分端，从而使的分数的全距缩小。
• 1、定义式 通过 人数
R P 100 % N
参测 人数
P值大，难度小。 P值小，难度大。
2、极端分组法
• 含义 – 以高低分组平均通过率表示的难度
步骤 高、低分组通过率
pH
RH , NH
RL pL NL
平均通过率
PH PL P 2
例4-1：200人参
加某项测验，在一 填空题上高分组48 人通过，低分组23 人通过。试问该题 的难度值是多少？
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 A 5 22 58 26 17 25 1 1
答 B 92 50 10 21 15 11 44 56 C 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
数 答 未答 案 0 0 1 2 12 11 5 5
二、具体步骤
• • • • 分析试题内容 计算区分度 计算难度 选项分析
• 求高低分组在 所有项目，所 有选项上的选 答率 • 列表 • 分析：逐个项 目地进行分析
例4-2：在100名 学生中，高分组与 低分组各有27人。 其中高分组答对第 一题的有20人，低 分组答对第一题的 有10人。试问该题 的难度是多少？
N H N L 100 0.27 27
20 PH 0.74 27 10 PH 0.37 27 0.74 0.37 P 0.56 2
四、项目难度分布的选择
• 进行难度分析的主要目的是为了筛选项目， 项目难度水平多高合适，取决于测验的目 的、测验形式以及测验的性质。 • 在教育工作中或实际工作中，若测验的目 的是为了了解被试在某方面知识技能的掌 握情况，可以不必过多地考虑难度。 • 如果测验的目的是用于选拔录用人员，就 应该将项目的难度控制在接近录取率左右。
P、D与答案分析实例
例4-12：有人计划
编制一套上海市中 学几何学科测验， 按预定题数加倍制 定测题再以项目分 析法选择最适当的 测题。现从上海初 三全域抽取代表性 样本370人为预测对 象接受测验。按学生 总分高低顺序排列， 抽取最高和最低的试 卷各27%为高低分 组。现从中选出4个 选择题，经过项目分 析获得以下结果。
Ni N H N L
200 27% 54
1 48 23 P 2 54
71 0.66 108
N H N L 200 0.27 54
48 PH 0.89 54
23 PH 0.43 54
0.89 0.43 1.32 P 0.66 2 2
• 计算题分与总分的相关系数 • 例：8名学生在某题上的得分及测验总分如下表， 求项目区分度。
学生 1 6 2 10 3 6 4 8 5 9 6 7 7 3 8 5 某题得分
测验总分
34
36
35
37
42 30 27
29
解：rxy
2 2 S x2 S y SD
2S x S y
4.4375 20.9375 10 ＝ 2 2.1065 4.5758 ＝0.7975
• 区分度的实质：题分与总分的一致性程度，或 者说就是它们的相关系数。 • 区分度的值域：D∈[-1，+1］
二、计算方法
（一）鉴别指数
• 含义
– 高、低分组通过率之差：
D PH PL
• 步骤
– 按测验总分高低排序试卷 – 确定高低分组：每组占27% – 分别计算各组的通过率 – 代入鉴别指数公式
• 各种测验的难度
– 标准化测验：0.30～0.70； – 一般测验： 极难（P﹤.1）→极易P﹥.9） – 选拔和诊断测验：接近录取率 – 效标参照测验：有时不考虑难度
• 常模参照测验
– 测验难度在0.50左右。
ห้องสมุดไป่ตู้
• 选拔测验
– 要求在录取线附近具有最强的鉴别能力。 – 对于选拔点左右的人而言，题应具有0.50左右的难度。
第三节 多重选择题的项目分析
一、分析的作用与内容
• 对该题进行品质分析，看其是否能测到你想测的那 种心理品质。 • 计算该题的区分度，看区分度能否达到要求。 • 看该题的难度是否合适、恰当。 • 正答选项的选答率是否恰当。正答选项在高、低分 组的选答率是否是正差，差距是否足够大。（理论 上是越大越好） • 诱答选项（迷惑项或分心因子）的选答率是否恰当， 诱答选项在高低分组上的选答率是否是负差，差距 是否足够大。
（二）相关法
• 某一测题分与效标成绩或测验总分的相关
• 具体方法
– 点二列相关——客观题
– 二列相关——主观题
–Φ 相关
点二列相关、二列相关和Φ 相关
变量 一列 一列 点二列相关 二列相关 连续变量 二分名称 二分名称 （人为的） Φ相关 二分名称 二分名称
积差相关：论文式题目
相关法
• 计算题分与总分的相关系数 • 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
例4-7：100人参加 某项测验，对其中四 道题做对的人数分布 如表所求，试问这些 试题的区分度分别是 多少？
题 目 1 2 3 4
做对人数 高分组 低分组 27 12 6 22 24 1 8 12
结果
题 目 1 2 3 4 做对人数 通过百分比 高分组 低分组 高分组 低分组 27 12 6 22 24 1 8 12 1.00 0.44 0.22 0.81 0.89 0.04 0.30 0.44 D 0.11 0.40 -0.08 0.37
• Δ＝13+4Z
• 计算所有题目的平均难度
第二节 项目的区分度