IRT在量表编制上的应用(上)95.1.2

0 目录 前言--1 第一章 试题反应理论的概念与发展--2 第一节 试题反应理论的基本概念--2 第二节 试题反应理论与古典测验理论的比较--2 第三节 常见的IRT模式--6 第四节 IRT的基本假设--13 第五节 当代IRT的发展--14

第六节 IRT的应用--15

第二章 IRT在测验编制上的应用--19 第一节 测验(量表)设计原理--19 第二节 选择模式--21 第三节 估计受试者程度值--22 第四节 试题分析--25

第五节 测验讯息量与测量标准误--28 第六节 检视资料的符合性--29 第七节 以IRT编制测验的实例--32 1

前言 试题反应理论(IRT)是测验领域中较新的技术，它已经被应用在教育、心理、医疗等相关领域中，如国中基本学力测验、托福、GRE、GMAT考试，以及国外的一些人格量表与医学相关量表的编制。当代著名的计算机化适性测验(CAT)也必须仰赖IRT的理论与技术才能运作。本次工作坊的主要内容是以介绍IRT的概念与实务应用为主，上午的课程是先对IRT做基础概念的介绍，接着以生活质量量表与国中基本学力测验的发展为例，介绍IRT的基础应用，并有实际数据让学员上机操作，对于有量表发展需求者而言相当实用。下午是IRT的进阶课程，介绍IRT在多向度测验及计算机化适性测验上的应用，对于有兴趣发展人格量表、多元性向测验等多向度测验，或是想发展计算机化适性测验的人而言是很适合的课程。 2

第一章、试题反应理论的概念与发展 第一节 试题反应理论的基本概念 试题反应理论(item response theory; IRT)主要是用来描述试题特性（难度、鉴别度、猜测度）与受测者的能力(潜在特质)如何影响其答题反应的一种数学模式。最简单的IRT模式如下列公式(1)所示（Rasch, 1960）：

)()(1ijijbbijeeP



, (1)

其中j为考生j的能力，bi是试题i的难度，而Pij是受测者答对某个题目标机率。在IRT的模式中，受试者在某个题目上的答对机率是同时受到受试者能力与试题难易度所影响；而受试者在测验上的整体表现就是各题目答对机率的联合机率。藉由这个数学模式与联合机率的概念，我们就能根据受试者在各个题目上的答题反应来估计受试者的能力以及题目的难易度，并且让接受不同题目的受试者其能力可以互相比较。 IRT其实是许多试题反应模式的总称，当代已经有许多IRT模式分别适用在许多不同的测验情境中。常见的 IRT模式可以根据其所包含的试题参数数目来分，分为单参数的Rasch模式、二参数模式与三参数模式（Birnbaum, 1968）。也可以依据计分型态来分，分成二元计分（dicotomous）与多元计分（polytomous）模式；或是依据适用的作答方式来分，分成评定量尺（rating scale）模式、部分计分（partial credit）模式、名义量尺（nominal scale）模式等。

第二节 试题反应理论与古典测验理论的比较 试题反应理论与传统测验理论(classical test theory; CTT)的比较见表1-1所示(Embretson & Reise, 2000; Hambleton & Swaminathan, 1986)。大致可以从模式特性、试题参数特性、能力与分数量尺特性、测量精准度与应用等几个层面来看。 1.模式特性： IRT的模式是针对单一试题的作答反应所提出的数学模式，在其模式中同时 3

考虑了受试者能力与试题特性对答对机率的影响，所以它是一种直接描述作答行为的模式。此外，IRT其实是许多试题反应模式的总称，这些IRT模式是分别依据各种不同计分方式与不同作答方式的测验情境所发展出来的。 表1-1 试题反应理论与传统测验理论的比较 试题反应理论 传统测验理论 模式特性 1.针对单一试题的作答反应所提出的数学模式。 2.现有各种不同的IRT模式，适用于不同计分方式与作答方式的测验中。 1.针对测验总分所提出的数学模式。 2.各种不同计分方式与作答方式的测验都使用同一套模式。

试题参数特性 题目特性(参数)的估计不会受到试者能力所影响。 题目特性(参数)的估计会受到试者能力所

影响。

能力与分数量尺特性

1.对受试者的能力估计不会受到题目特性所影响。 2.根据IRT模式与概似函数估计受试者最有可能的程度值，有比较强的数学理论基础。 3.可以直接参照题目的特性来解释分数，也可发展出一套参照标准(常模参照或标准参照)来解释分数。 4.用某些IRT模式可算出等距量尺。 1.对受试者的能力估计会受到题目特性所影响。

2.根据各题目的配分直接加总所得的分数，间接推测出受试者的程度值，较缺乏数学理论基础。

3.通常需要额外发展出一套参照标准(常模参照或标准参照)，才能解释测验分数的意义。

4.当群体的分数完全符合常态分布时，才能转换出等距量尺。

测量精准度(信度) 测量精确度的评估是以题目为单位来计算再加总起来，因此受试者的测量精确度(讯息量)是随着受试者的能力以及所接受的题目特性而有所不同。 测量精确度的评估是以测验为单位，因此

接受同一测验的所有受试者其测量精确度(信度)都相同。

应用 编制测验(量表)、分数等化，编制题库、计算机化适性测验、组合测验 编制测验(量表) 整体评估 优点：具有能力估计不变性、具有题目参数估计不变性、测量精准度的概念较合理、应用层面较广。 缺点：模式不易理解、能力估计与试题参数估计较麻烦，须仰赖计算机软件来分析。 优点：模式简单易理解，能力与试题参数容易计算。

缺点：不合理地假设不同人的测量精准度相同、应用层面较狭隘，受试者程度值会受题目特性所影响、题目参数值会被受试者特性所影响。

传统测验理论则是一种针对测验总分所提出的数学模式。在传统测验理论中假设测验所得的分数是包含了真实分数与误差两个部份。如公式(2)所示： X(测得分数)=T(真实分数)+E(误差), (2) 不过这个模式并未说明测验总分是如何得到的(一般都是直接对各试题的得分加 4

总)，也不知道受试者答题反应与题目难易度或受试者能力关系。在传统测验理论中，不论是使用何种题型、何种计分方式或作答方式，都是使用公式(2)来描述测得分数的特性，所以是一种与作答行为无关的数学模式。 2.试题参数特性 试题参数是指试题的难易度、鉴别度、猜对率……等用来描述试题特性的指标。在IRT中，题目参数的估计不会受到试者能力所影响。这主要是因为在IRT中已经将试题参数与受试者能力同时纳进其模式里，因此在估计其试题参数时已经考虑了受试者能力的影响，因此所估计出来的试题参数不会受到受试者能力所影响。所以在IRT中估计试题参数时，受试者是否具有代表性并不是很重要，只要受试者的人数够多(单参数模式至少200人，三参数模式至少1000人)，程度值不会过度集中，就能够估计出稳定的试题参数。 在传统测验理论中，试题参数几乎是完全决定于受试群体的能力。以难易度为例，如果受试群体的能力较高，则计算出来的试题难易度值(答对率)就变高，亦即题目变简单；如果受试群体的能力较低，则计算出来的试题难易度值(答对率)就变低，亦即题目变难。所以试题是难还是简单，完全取决于抽样时所选到的受试群体能力高低，因此样本的代表性对试题参数的估计有很重要的影响力。同样地，试题鉴别度也会明显地受到受试群体的能力分散程度所影响。 3.能力与分数量尺特性 在IRT中，对受试者的能力估计值也不会受到试题特性所影响，这也是因为IRT模式已经将试题参数与受试者能力同时纳进其模式里，因此在估计受试者能力时已经考虑了试题参数的影响，因此所估计出来的试题参数不会受到受试者能力所影响。此外，IRT的程度值是根据IRT模式与概似函数(likelihood)所估计出来的，有比较强的数学理论基础。而IRT的程度值与试题难易度值是共享同一个量尺，也就是说一个人的能力高低可以直接参照题目的难易度以及题目的描述句来解释，因此不需要参照群体就能详细地解释受试者的能力特性。最特别的是，如果使用IRT中的Rasch模式(单参数模式)，则所估计出来的受试者能力值具有等距量尺的特性，亦即其能力量尺的单位距离是相同的，这可以由Rasch模式的推估证明出来(王文中，民86)。 在传统测验理论中，受试者的能力值是直接加总测验中各题目的得分所得。当测验的题目较难，则受试者的得分通常会比较低；当测验的题目较简单，则受 5

试者的得分通常会比较高，意即受试者的能力高低完全决定于他所接受到的题目难易度。而这种直接将各题目的得分加总形成能力值的做法也缺乏数学理论依据，因为人的能力并不是如此单纯的根据题目的答对情形来加总，否则只要重复地让一个人作同样的题目10次，能力岂不变成10倍。此外，传统测验理论所得到的分数无法直接依题目特性来解释，需要另外建立一套参照标准(常模参照或标准参照)才有办法解释测验分数的意义。而且传统测验理论所得的分数也不具备等距量尺的特性，因此其分数严格说来并不适合进行四则运算，也不适合直接拿来做t检定或因素分析等统计运算。 4.测量精准度 IRT的测量精准度是以讯息量(information)的概念来表示。讯息量是指某种难度的题目对某种能力的受试者的测量误差平方根的倒数。如公式(3)所示：

21Ie, (3)

其中I为讯息量，2e为测量误差。测量误差愈低，对此人的测量就愈精准，因此该题所提供的讯息量就愈高。相同题目对不同能力者而言其讯息量并不相同，因此即使是接受相同的测验，对不同能力者而言，他们的讯息量或测量误差应该是不相同的。这种测量精准度的特性较符合实际的测验情况，因为测验题目的难易度很难同时适用于各种不同能力的受试者，对高能力者而言，题目可能过于简单而测不出其能力；对低能力者而言，题目可能过难而也测不出其能力；只有对中等能力者而言，题目的难易度较适当，较能精确地测出其能力。IRT的讯息量概念恰可以反映出测验对不同能力者有不同测量精准度的现象。 反观传统测验理论，其测量精确度的评估是以测验为单位所计算出来的，也就是测量标准误(standard error of measurement; SEM)。我们可以经由X=T+E的概念算出测验的信度(reliability)，再经由下列公式转换得来： r-1SEM 其中为群体分数标准差，为r测验信度。由于在传统测验理论中，接受相同测验的受试者其信度都相同，因此测量标准误也被视为相同。而这样的假设显然与实际的测验情况是不符合的，因为测验中的题目不见得对各种不同能力的受试者而言都适用。 5.应用