项目反应理论在计算机自适应测试中的应用
- 格式:pdf
- 大小:235.12 KB
- 文档页数:2
IRT理论(Item Response Theory)IRT理论概述IRT理论即项目反应理论(Item Response Theory, IRT),又称题目反应理论、潜在特质理论(Item Response Theory)是一系列心理统计学模型的总称。
IRT是用来分析考试成绩或者问卷调查数据的数学模型。
这些模型的目标是来确定的潜在心理特征(latent trait)是否可以通过测试题被反应出来,以及测试题和被测试者之间的互动关系。
目前广泛应用在心理和教育测量领域。
项目反应理论的意义在于可以指导项目筛选和测验编制。
项目反应理论假设被试有一种“潜在特质”,潜在特质是在观察分析测验反应基础上提出的一种统计构想,在测验中,潜在特质一般是指潜在的能力,并经常用测验总分作为这种潜力的估算。
项目反应理论认为被试在测验项目的反应和成绩与他们的潜在特质有特殊的关系。
通过项目反应理论建立的项目参数具有恒久性的特点,意味着不同测量量表的分数可以统一。
项目反应理论通过项目反应曲线综合各种项目分析的资料,使我们综合直观地看出项目难度、鉴别度等项目分析的特征,从而起到指导项目筛选和编制测验比较分数等作用。
项目反应理论的特点(1)独立性。
被试特质水平不依赖于被试样本的代表性;被试水平参数不依赖于测验项目组;项目特征参数不依赖于所测被试组的参数不变测验项目组。
(2)项目理论中被试水平和项目难度可以直接比较;(3)正视了测量误差和项目性能是否与被试水平相关这一事实;(4)提供了计算机化自适应测验这一策略;(5) 从计量学角度提出了自己的新观点与新技术。
历史发展IRT理论发端于20世纪50年代,它同时被丹麦统计学家Georg Rasch和美国心理统计学家Frederic M. Lord在各自的国家发展起来。
尽管采取的研究方法不同,但是他们的结果却非常相似。
F. Lord在1951年从普林斯顿大学毕业时的博士论文《A Theory of Test Scores》被认为是IRT 理论的开端之作。
中国科学技术大学博士学位论文基于项目反应理论的计算机自适应题库系统IRT-CABS的研究姓名:***申请学位级别:博士专业:信号与信息处理指导教师:***20040801摘要摘要近年来,项目反应理论(ItemResponseTheory,简称IRT)是心理与教育测量非常活跃的研究领域,并正迅速成为主要的测量理论之一。
项目反应理论是在批评经典测量理论(ClassicalTestTheory,简称cTT)的局限性的基础上发展起来的,随着统计方法的完善和计算机的普及,项目反应理论很快被应用于各类大规模考试和计算机辅助测验(computerbasedTesting,简称cBT)。
尽管有坚实的理论基础,项目反应理论在具体实现应用中仍存在许多有待进一步研究和探讨的问题。
在以往的工作中,大部分的研究和应用都是基于经典测量理论的题库研究与实现。
本文首先分析了项目反应理论目前没有实用化的原因,较为系统地讨论了项目反应理论模型,探讨了它与经典测量理沦模型相区别的一些性质与独有的特性。
在实现算法上,本文研究了基于项目反应理论IRT的组卷模型和组卷算法,并提出了一种基于自适应遗传算法的智能组卷算法,该算法利用遗传算法的思想,引用惩罚函数的方法自适应地调整适应度函数,不仅避免了遗传算法中经常出现的“早熟现象”,而且有效地解决了智能组卷中的约束优化问题,具有很好的性能和实用性。
本文探讨了IRT智能组卷中包含半结构化或非结构化的决策问题,是…个复杂的建模过程,提出一个组卷决策支持系统,具有灵活的、动态的环境,帮助测验专家完成复杂的决策过程。
本文详细地探讨了基于IRT智能组卷的模型管理系统(MMS)的设计。
本文进一步研究构建了基于项目反应理论的计算机自适应题库系统,提出一种用整数规划方法来设计题库,使得白适应测验中的曝光问题得以充分解决,并且为自适应测验题库减少了编写题目的开销。
本文还研究建立计算机自适应题库系统中的评估模型,通过评估项目反应模型中的存在参数(能力参数和项目参数)进行估计以校准题库,该模型包括学生模型sM—BIN、实例模型EM—BIN和任务模型,可以评估学生在测验表现中知识的不确定性。
第五讲项目反应理论与自适应测验(4学时)一、教学目标1、能阐述经典测验理论的不足,以及项目反应理论发展和应用的背景。
2、掌握项目反应理论的基本原理。
①能解释逻辑斯蒂模型中被试能力参数与项目参数的物理意义以及两者间的关系。
②能阐述项目信息函数的定义及计算方法,会解释项目信息函数的物理意义。
③能运用一定的统计方法对被试能力参数和项目参数做出适当估计。
④能定性地表述项目反应理论的基本原理。
3、掌握基于项目反应理论的计算机自适应测验的实现方法。
①能说出一个典型的计算机自适应测验系统的基本构成及功能。
②能说明设计一个典型的计算机自适应测验系统需要解决的基本问题。
③学会运用自适应测验的基本流程和算法。
④能定性阐述自适应测验的优点。
4、了解项目反应理论和自适应测验的实际应用的情况。
二、教学方法与教学媒体1、教学方法:以讲授法为主,着重介绍项目反应理论的基本原理及其在自适应测验中应用的基本思路和方法。
本次课结束后,让学生在课后进行自适应测验系统设计实践,并写出设计报告,然后用1-2学时组织学生就项目反应理论实际应用中的相关问题进行讨论,以培养学生的实践能力。
2、教学媒体:用黑板与讲授同步地展示讲授的内容要点,用Microsoft Excel作为工具讨论项目反应模型及其相关参数的物理意义,用PowerPoint展示结束总结的内容要点和实践任务要求。
三、教学重点、难点重点:项目反应模型及参数估算方法;自适应测验的施测程序及算法。
难点:被试能力参数和项目参数的估算方法;项目信息函数的定义及意义。
四、教学内容与过程整个教学过程分为引入、展开、结束三个阶段进行。
(一)引入阶段:首先分析经典测验的局限性,由此引出如何提高测验的精度和效率的问题,在此基础上提出自适应测验的基本思路及其理论基础,从而引出本节课的学习内容。
然后以框图形式向学生预告本节课学习内容的基本结构和要求。
1、经典测验的局限性及自适应测验的提出经典测验的特点是:所有被试不论能力水平高低都使用相同的测试项目进行测试。