试卷分析工具之五个小工具

《百分制课程考试试卷分析工具》科研部分（2）使用说明《百分制课程考试试卷分析工具》第九版隆重推出，首先针对用户普遍使用高版本MS OFFICE的现状，本版本跟随其演进不再支持MS OFFICE2007以前的版本。

更重要的升级是本工具将由纯教学实用型工具升级为教学科研型工具，推出系列考试研究方面的功能。

通过该系列功能的应用，教师将加深对教育测量学认识，逐步掌握考试技巧和艺术，提升教学品味。

标准分应用是准确综合评价学生学习能力的技术手段，新版实用部分已经加入了该功能，但此不在科研部分介绍范畴。

本篇介绍其它涉及考试教学科研的工具使用方法，供大家参考。

1第二部分操作界面进入本部分功能的操作界面方法是在初始界面底部点击“研究”按钮，先进入成绩分布研究界面（见图1，图2）：图1初始界面底部图2成绩分布研究界面（科研工具第一部分内容）再点击底部的“其它功能”按钮，则进入本文涉及的功能操作界面，其界面见图3.图3科研工具第二部分操作界面该部分包括5个工具：1）历次试卷分析核心数据库浏览工具2）分半考试信度的测试工具3）重测考试信度的测试工具4）效标考试效度的测试工具5）两份考试的成绩分布卡方检验工具2档案库浏览用户在使用本软件做试卷分析时，系统自动将测试的核心数据存入档案库中，历次试卷测试后您将积累一批考试的核心数据资料。

这是您在组织考试、考试运行效果等方面十分珍贵的数据资料，通过历史数据信息的合理挖掘、对比分析，或许在试卷组题方面、题型结构方面、知识点的数量控制方面获得新的认知，掌握新的规律，甚至提高到一定高度产生新的理论，这就是回顾性研究。

回顾性分析是教学科研重要的方法，与调查研究、文献研究不同，回顾性研究是一种实践研究，尤其是建立在数据分析基础上的回顾性研究更有价值，它为揭示事物的特点、研究事物的规律提供了有效的手段。

数据挖掘与分析技术请检索相关技术资料，本工具仅介绍档案库数据收集的范围与历史数据的浏览。

档案库可对每一次试卷分析的数据进行收集，也收集利用成绩模拟工具进行试卷分析的数据。

调阅历史数据操作：在操作界面左侧功能选择选“浏览档案库数据”，然后在档案库项目下拉菜单调用您需要浏览的历史数据（见图4），图5是调出数据采用EXCEL文件报告单方式显示方。

图4调阅你需要的某次分析数据图5数据显示需要告知的是调用数据菜单排列顺序是新者优先，因此排在首位者就是最新存入的数据。

2分半考试信度的测试 1）理论与计算公式对考试整体质量的评估首先必须考查考试结果的稳定性程度，即考试的信度（或测验信度）。

由于任何考试结果都会因考试误差的客观存在而受到或多或少的影响，因此百分之百可信的考试几乎无法得到。

考试信度就是推测考试可信与否的最重要量化指标。

分半信度是考试信度经典算法，采用分半法（split-half reliability ）计算考试信度就是将考试施测于某被试总体，然后将考试分半，再求被试在每一半考试上的分数的一致性程度。

方法是将奇数题组成一个部分，偶数题构成奇数题的复本。

计算两半考试得分的皮尔逊相关系数（Pearson’s product moment correlation ）（公式1），再采用Spearman-brown 公式（公式2）矫正。

∑∑∑∑∑∑∑=======-•-•-=n i n i n i ni i ni ni ni X X ii i ii i X n X X n X X X n X X r 1111222222111121212])(1[])(1[111 公式1r XX =2r X 1X 2(1+r X 1X 2)公式221X X r 为皮尔逊相关系数（又称为分半信度），XX r 为矫正后的信度估计值，ii X X 21、为配对后某对奇数题、偶数题得分值，n 为成对试题数目。

通俗的表述：将待测试的试卷均匀的分成两个部分，然后分别按此分法统计每一份试卷的两个部分得分数据，获得该成对数据（一般要求至少30对）后可用本软件进行考试信度测试。

当试卷各题型均为偶数题量时，我们可以直接按奇数题/偶数题分半、统计，而试卷用简单奇数、偶数分存在过度失衡时可以考虑进行适当调整，也无必要分半绝对平衡。

例如某考试：选择题99题，是非题9题，填空题7题，计算题4题。

由于前三种题型按奇数题/偶数题分则奇数题比偶数题多3题，因此可以考虑进行调正，将最后一条奇数题得分并入偶数题得分。

测试使用要求：数据必须成对，即同一考生之奇数题和偶数题得分数据；成对数据的数目一般要大于30；两列数据都应呈正态分布。

2）测试操作点击操作界面左侧的“测试考试分半信度”（见图6），然后点击“数据输入”调出EXCEL 软件进行数据输入（图7）。

图6进入分半考试信度测试模式图7输入数据在数据输入完成后存盘、退出EXCEL软件，回到本工具操作界面并点击信度计算即可完成所有计算，用户可发现软件在后台进行复杂的数据计算时多次调用EXCEL软件，如果您计算机配置较低时有明显的延迟时间，请耐心等待。

测试计算完成后将在操作界面下方显示计算结果，见图8.图8 测试结果显示3重测考试信度的测试 1) 理论与计算公式重测法（Test-retest reliability ）考试信度是通过同一批人群在不同时间进行的两次测试获得两批分数数据，进行他们之间的相关系数计算以检测接近程度，两次测试越接近则体现了待测考试的可信程度，体现了待测考试的稳定性，因此该方法又称为稳定性信度。

重测考试信度计算公式如下（公式3）：r X 1X 2=n ∑X i X i −∑X 1•∑X inn n √1ii 2i 2i i=1i=1i=1i=1 公式3式中21X X r 为信度，ii X X 21、为考试成绩和重测考试成绩，n 为人数2）重测考试信度数据采集在本课程考试之前或之后不长的一段间隔时间组织一次小规模的同科目类似考试做重测数据，学生仍是同一批学生，为降低工作量小规模考试可控制人数10-20，人选统计学要求随机选取，如果用户不熟悉随机方法也可按学号顺序选人，人数适当增加（如20-40人）。

如果用户无法获得重测考试数据，另一个变通方法是选取与该课程特征相近（指知识结构与考试方式）的若干门课程成绩之平均值替代。

最终有效的数据为成对成绩数据，即若干名考生的待测考试成绩与参考（重测）考试成绩。

3）测试操作选取左侧“测试考试重测信度” （见图9），鼠标点击“数据输入”按钮，调出EXCEL 软件进行数据输入（见图10）。

图9选择本功能图10数据输入数据输入完成后存盘、退出EXCEL，点击“信度计算”待运行完成后在操作界面下方显示测试的信度值（见图11）。

图11结果显示见屏幕下方红色文字4考试效度的测试1） 理论与计算公式考试效度是代表考试准确度的一个重要统计学指标，即考试能够测出它所欲测的特质的程度。

信度与效度有如下的关系：r XX =r XY +S I 2S X2 公式4∵ 022>XI S S∴ XY XX r r >考试效度最常用的计算方法是相关效度分析(relative validity)。

相关效度分析(relative validity)：又称效标效度，是指考试分数与效标的相关程度。

所谓效标就是检验考试有效性的一种参照标准，由于学生存在文理科偏型现象，要求选择效标考试时要求取同一批学生在考试构成、学科门类上都相近的考试数据，效标应是某一次十分成功的考试或几次成功考试的平均成绩。

通俗的讲成绩好（效标成绩）的学生这次的成绩也应该比较好，反之则这次考试的有效性将受到质疑。

计算公式：r XY =X−X)(Y−Y)√∑(X−X)∑(Y−Y)公式5式中：X 、X 为本次考试的观测分、平均分，Y 、Y 为效标分、效标平均分。

2）测试操作数据采集请参考重测考试信度，操作基本步骤也类似，选择功能（图12），数据输入（图13），数据输入完成后点击“计算效度”后见图14红色文字。

图12选择功能图13数据输入图14结果显示考试信度和考试效度与平均分、标准差等考试观察指标一样，仅仅是判断考试某个特定方面质量的数据，均不能替代其它指标，更不能依此单独判断考试的优劣。

许多指标之间也存在内在的或多或少的关联，如考试信度、效度与成绩分布、标准差、平均成绩均有关联。

如同体检中身高仅判断该人的发育状况，无法依此确定该人是否健康；性别、年龄、体重与身高存在关联。

资料报道考试效度与考试信度数值存在如下关系：（效度）2≤信度5两考试成绩分布的卡方检验在考试研究中常常遇到同一试卷考试，不同班级成绩的比较以评估学生群或教师的差异，简单的方法是两份资料的平均分数值的比较，也有用优良率数值比较的，但由于没有统计学方法的验证，当数值差别不大时仅以数值大小简单判断是不科学的。

统计学采用卡方检验判断两份资料成绩分布的差异。

即分别统计两份资料90分数段、80分数段、70分数段、60分数段及不及格分数段的人数，进行卡方检验，计算卡方值并依此判断两份资料是否存在差异。

操作类似前面的步骤，选择功能（图15）、数据输入（图16）、计算判断（图17、图18），两份资料不要求人数相等。

图15卡方检验方式图16数据输入（需要存盘、退出）图17以显示数据方式计算、显示结果。