(完整版)如何计算信度和效度

试卷的难度、区分度、信度和效度一.试卷的难度一什么是难度难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标;一个题目,如果大部分考生都能答对,那么这个题目的难度就小；如果大部分考生都不能答对,那么这个题目的难度就大;客观题难度计算公式：P难度指数＝试卷答对人数/考生人数；主观题难度计算公式：P＝试卷平均得分/试卷满分;试卷难度计算公式：P＝为平均分,K为试卷满分值;易、中、难的标准为：易：P≥,中：≤P≤,难：P≤；P值越大,难度越低,P值越小,难度越高;一般来说,难度值平均在最佳,难度值过高或过低,都会降低测验的信度;二难度的计算1客观性试卷难度P这时也称通过率计算公式：P=k/Nk为答对该题的人数,N为参加测验的总人数2主观性试卷难度P计算公式：P=X/MX为试卷平均得分；M为试卷满分3适用于主、客观试卷的计算公式：P=PH +PL/2PH、PL分别为试卷针对高分组和低分组考生的难度值步骤为:①将考生的总分由高至低排列；②从最高分开始向下取全部试卷的27%作为高分组；③从最低分开始向上取全部试卷的27%作为低分组；④计算;三试卷难度的一般要求就高考来说,难度以适中为宜,单个试卷的难度以之间为好,整卷以之间为最佳;一般将难度值大于和等于的试卷定为容易题；大于和小于的定为中档题；小于和等于的试卷定为难题;命题时难度一般要按一定比例分配,如3：6：1或3：5：2;二.试卷的区分度一什么是区分度区分度是指考试卷目对考生心理特征的区分能力;区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分;区分度高的考试,优秀、一般、差三个层次的学生都有一定比例,如果某一分数区间学生相对集中,高分太多或不及格太多的考试,区分度则低;二区分度的计算1.单个选择题目区分度的计算将全体考生总分从高到低排列,将总分最高的27%考生定为高分组,总分最低的27%考生定为低分组,分别计算两组考生在某道题目上的通过率,两个通过率之差就是这道题的区分度又叫鉴别指数;计算公式为：D=PH -PL. PH和PL分别为高分组和低分组的通过率;2.整个试卷的区分度计算常用计算公式为：D=2XH —XL/W,其中D为试卷区分度,XH为27%高分组平均分,XL为27%低分组平均分,W 为试卷总分;一般也将全体考生总分从高到低排列,将总分最高的27%的考生定为高分组,总分最低的27%考生定为低分组,再分别计算各组的平均分;三试卷区分度的一般要求区分度D的取值范围介于至+之间;通常D为正值,称为积极区分；D为负值称为消极区分；D值为0称为无区分作用;具有积极区分作用的试卷,其D值越大,区分的效果越好;试卷的区分度在以上表明此题的区分度很好,～表明此题的区分度较好,～表明此题的区分度不太好需要修改,以下表明此题的区分度不好应淘汰,高考的区分度一般要求在以上;三.试卷的信度信度是指使用同一试卷对考生重复测验时,或两个平行试卷对考生测验时,所得测验分数的一致性和稳定性程度;信度除了要说明成绩的真实性之外,还要说明题目涉及的内容与教学的相关程度;信度系数愈高即表示该测验的结果愈一致、稳定与可靠;系统误差对信度没什么影响,因为系统误差总是以相同的方式影响测量值的,因此不会造成不一致性;反之,随机误差可能导致不致性,从而降低信度;信度可以定义为随机误差R影响测量值的程度;如果R=0,就认为测量是完全可信的,信度最高;信度主要是指测量结果的可靠性、一致性和稳定性,即测验结果是否反映了被测者的稳定的、一贯性的真实特征;和信度相关的一个概念是,信度是效度的前提条件;信度只受随机误差的影响,随机误差越大,信度越低;因此,信度可以视为测试结果受随机误差影响的程度;系统误差产生恒定效应,不影响信度;四.试卷的效度效度是指考试有效性或正确性的质量指标,即是否考了要考的内容,试卷难度、区分度是否适宜,考试最终是否达到了它的预定目的等;测试效度test validity亦称测试的有效性,指一套测试对应该测试的内容所测的程度;也就是说,一套测试是否达到了它预定的目的以及是否测量了它要测量的内容;测试的效度一般可分为以下几类：1表面效度face validity;指测试应达到的卷面标准,即一套测试卷从表面看来是否是合适的;例如,若一次阅读理解力的测试包括许多受试者没有学过的方言词汇,则可认为这次测试缺乏表面效度;表面效度是测试出受试者正常水平的一种保证因素;2内容效度content validity;指测试卷是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求,即测试的代表性和覆盖面的程度;3编制效度construct validity;指测试卷的诸项目对编制该测试所依据的理论的各个基本方面的反映程度;4经验效度empirical validity;经验效度是一种衡量测试有效性的量度,通过把一次测试与一个或多个标准尺度相对照而得出;一般来说,对某次测试的效度进行检验时,除了要根据教学大纲的要求和观念有效性的理论对试卷的内容进行考查以外,还须采用计算相关系数的定量方法,即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数;系数高则有效性大;课堂测试的效度应在之间,规模较大的测试其效度应在以上;五、高考题的信度、效度、难度和区分度高考的性质最主要的在两个方面：首先、高考是一种选拔性考试,高考成绩是高等学校录取新生的依据,这是高考的选拔性质;其次、高考是一种导向性考试,高考是中学教学的指挥棒,起着对中学教学的引导作用,这是高考的引导性质;高考性质的这两方面决定了高考试卷应有的信度、效度、难度和区分度,而这些是我们进行高考复习首先要清楚的,能够避免我们在复习时的盲目;。

信度的评估
信度的评估一般用考试结果的相关系数来表示。相关系数
等于1表示该卷完全可靠，相关系数等于0则说明该试卷完
全不可靠。在实践中，人们往往根据具体情况对试卷的信 度提出不同的要求。通常是客观题的信度高于主观题。客 观题的信度系数一般定在0.99以上。如果一份试卷既有客 观题又有主观题，信度系数最好不低于0.80。在英语测试 中，一份好的试卷，其词汇、结构和阅读部分的信度系数 一般应在0.80-0.89之间，口试的信度系数一般在0.70-0.79
什么是信度？
信度也称可靠性，即当被测试对象本身发生变化，用同样 的“尺子”去重复测试时，总是获得类似的结果。因此， 信度也被称为一致性(consistency)。 如果说一个测试的信
度高，便是指一个考生的成绩序列经反复测试都大致相同。
如果说某次测试完全可靠，那便是指这次测试排除了一切 误差、绝对的准确。即一个考生的成绩经反复测试后完全 保持一致，一组考生经反复测试后，其成绩序列完全相同。 其实，绝对的准确是不可能的，因为人的因素是不稳定的。
部有效或全部无效。除非给有效与无效规定效度系数的界
限。这主要是因为个人或群体的语言能力特征，只能通过 其行为样本间接推测，而不是绝对有效。从这个意义上讲， 效度也可以说是一个程度上的概念，它反映根据考试分数 作出推论或预测的准确程度。
效度的评估
一般地说，效度可以从以下几个方面评估。 （1）内容效度(Content Validity)是指考试的内容是否 具有代表性和综合性，或者说是否考了应考的内容。一 份试卷不可能包括所有要考的内容，所以，选择内容的 方法非常关键。 （2）预测效度度(Predictive Validity)是指考试的结果 和预言是否有效。例如：把学生高考的英语成绩和大学 一年级末的英语成绩作比较，观察其相关性，就可以了 解高考英语试卷的预测效度。 （3）结构效度(Construct Validity) 指一个考试所测量 的能力是否符合语言、语言学习和语言行为理论中所假 设的能力

2、稳定性与等值性系数：如果两个复本测验是相距 一段时间分两次施测的，就称这种复本信度为稳定 性与等值性系数。 两个题目间的差别、两次施测的情境、被试特质水 平等方面的差别都会成为测验结果不一致的重要原 因。与其他的信度系数相比，这种复本信度最小， 也就是说，稳定性与等值性系数是对信度最严格的 检验，其值最低。 计算复本信度的条件： （１）要构造出两份或两份以上真正平行的测验。 （２）被试要有条件接受两个测验。
效度评估的方法 一、内容效度 （一）什么是内容效度 内容效度指的是测验实际测到的内容与所要测量的内 容的吻合程度。 （二）内容效度的评估方法 1、逻辑分析法
请有关专家对测验题目与原定内容的符合性做出判断， 看测验的题目是否代表规定的内容。如果专家认为测验 题目恰当地代表了所测内容，即测验具有内容效度。内 容效度又称逻辑效度。
信度
信度指同一被试者在不同时间内用同一 测验（或用另一套相等的测验）重复测量， 所得结果的一致程度，或者说是测验分数 的可靠性程度。 信度只受随机误差的影响。随机误差越 大，信度越低。
信度评估的方法
一、重测信度 使用同一测验，在同样条件下对同一组被试前 后施测两次所得结果的一致性程度，其大小等于 同一组被试在两次测验上所得分数的皮尔逊积差 相关系数。 计算再测信度应满足以下几个假设： （１）所测得的特质必须是稳定的（如性格等）。 （２）遗忘与练习的效果基本上相互抵消。 （３）两次施测期间被试的学习效果没有差别。
2、统计分析法 除了描述性语言外，内容效度的测验也可采用一 些统计分析方法。例如计算两个评分者之间评分 的一致性。 再测法也可以用于内容效度的评估。 3、经验推测法：这种方法是通过实践来检验效度。
二、构想效度 （一）什么是构想效度 构想效度的概念是1954年提出来的， 也有人翻译成构思效度，还有人叫结构效 度。它主要涉及心理学的理论概念问题， 是指测验能够测量到理论上的构想或特质 的程度，即测验的结果是否能证实或解释 某一理论的假设、术语或构想，解释的程 度如何。

欢迎阅读信度分析和效度分析数据计分方法说明类别小分类对应题项每题计分方法维度计分方法题项职业倦怠情感枯竭1-3题正向计分全部题项直接加总 3 去个性化4-6题正向计分全部题项直接加总 3个人成就感7-10题逆向计分全部题项取倒数后加总4心理资本11-18题正向计分全部题项直接加总8组织气氛19-26题21题为逆向计分，其余题项正向计分21题取倒数后与其余题项加总8总体幸福感27-31题27题和31题为逆向计分，其余题项为正向计分27和31题取到术后与其余题项加总5整体问卷以上各个维度的总分直接加总31讲问卷调查的数据进行如上表的数据预处理后，接下来再进行如下分析。

1 信度分析这里有63份问卷，首先我们需要的判定的是问卷中的调查题目能否反映调查的目的和调查的意图，问卷中的各个问题是否测量了相同的内容和信息；同时，对于调查问卷所得到的数据是否具有可靠性，就必须在对问卷分析之前做信度分析。

信度本身与测量结果的正确与否无关，它的用途在于检测问卷本身的稳定性。

信度分析中常用Cronbach α系数的大小来衡量调查问卷的信度。

一般而言，如果问卷的信度系数达到0.9以上，该问卷调查的信度就较好；信度系数在0.8以上，是不错的；一般认为试卷信度在0.5至0.9以内是合理的，如果信度系数低于0.5，则此问卷的调查结果就不可信了。

将以上63份问卷的数据用SPSS21.0先进行标准化处理，再进行信度分析，其结果如表一所示：表一信度分析表类别Cronbach's Alpha项数整体问卷.61731职业倦怠.82210心理资本.8018组织气氛.8378总体幸福感.6795表一显示，整体问卷和问卷中的各个维度的Cronbach's Alpha系数值均大于0.6，所以可以推断此问卷的可信度一般，该评价问卷只具有很较高的内在一致性。

2 效度分析具备信度的问题不一定具备效度，因此做完信度分析，再用SPSS21.0对其进行效度分析。