第4章 测量的信度与效度分解
- 格式:ppt
- 大小:474.00 KB
- 文档页数:31
信度和效度社会学系02研王丽云当我们建构和评估测量时,我们通常使用信度和效度这两个技术性指标。
简单地说信度就是指测量数据和结论的可靠性程度,也就是说测量工具能否稳定地测量到它要测量的事项的程度。
我们可以举例说明信度的问题:如果想知道某人的体重,我们可以叫两个人来估计,一个人的估计为150镑,另一个人的估计为300镑,那么我们就可以认为,叫别人来估计体重是非常不可信的方法。
如果用磅秤,连续测量两次的结果都是相同的,因而我们可以说,在测量体重方面,用磅秤的方法要比叫人来估计更可信。
我们可以用信度系数来表示信度的大小。
我们知道在进行测量时,误差是难免的,这就使得真实值和测量值之间是不可能完全一致。
我们可以这样来表示真实值和测量值之间的关系。
X=T+B+ET表示真实值,B表示偏差即系统误差,E表示测量误差即随机误差。
由于系统误差很难分解,因而有些书中的分解式将系统误差包括在真实值之中,因而X可以简单地概括为X=T+E对于测量误差E,一般假定他的期望值是0,却与真实值相独立,在此假定下,可以证明:E(x)=E(T)实得分数和真分数的总体均值相等。
σ2x=σ2T+σ2E实得分的方差等于真分数的方差与误差方差之和。
信度一般规定是真分数的方差在总体方差中所占的比例,即:信度系数Rxx=σ2T/σ2X=1-(σ2E/σ2X)信度系数越大,表明测量的可信程度越大。
在实际应用中,信度主要有以下几种类型:(一) 重测信度这种方法通常是重复同样的测量来检验信度信度系数可以用相关系数来表示。
假如我们第一次测量时的观测值是X,第二次的观测值是Y,那么重测信度就等于X与Y的相关系数。
但重复测量时,我们要注意两次测量的时间间隔要恰当。
如果时间间隔太久,可能会发生一些变故,影响到被调查者的态度,那么前后的测量就会有很大的差异。
(二)复本信度复本是针对原本而言的,它使原本的复制品。
对一项调查的问题,让被调查者接受问卷测量,并同时接受调查问卷的副本的调查,然后根据结果计算原本和复本的相关系数,就得到复本信度。
测量工具的信度和效度分析常用的测量工具主要有调查问卷和量表,它们都是对个人行为和态度的一种测量技术,是测量答卷者对问卷题目主观认识的个体差异的工具,也是研究者用来搜集资料的一种技术。
一般情况下,编制一份量表必须做效度和信度评价,而调查问卷则不是必须的。
对于有些调查问卷,其包含了类似量表性质对答卷者客观指标测量的题目,对这部分题目需要进行效度和信度的评价。
第一节信度分析概述一、信度的概念信度是指测量工具的可靠性和稳定性的程度,或是指使用某测量工具所获得结果的一致程度或准确程度。
测量工具的信度包含2层含义:一是相同的个体在不同时间,以相同的测量工具测验或以复本测验,或在不同的情景下测验,是否能得到相同的结果,即测量工具的测验结果是否随时间和地点等因素而变化;二是能否减少随机误差对测量工具测验结果的影响,从而反映测量工具所要测量的真实情况,即测量工具是否具有稳定性、可靠性和可预测性。
信度的三个特征是:稳定性、内部一致性和等同性。
一个好的测量工具必须是稳定可靠,且多次测验结果应前后一致。
信度本质上是一个统计学概念,是用于估计测量误差大小的尺度,主要说明测量工具测验结果中测量误差所占的比例。
实际应用中主要通过构建平行测验来计算测量工具的信度。
二、信度的评价方法信度研究的是测量工具测验结果的可靠性与稳定性,这种可靠性与稳定性可以从4个不同的角度来评价:①在相同条件下所得测量工具测验结果一致程度;②不同研究者用同一种测量工具同时测验所得结果的一致程度;③同一研究者用同一种测量工具在不同时间内测验所得结果的一致程度;④同一答卷者在不同时间内对同一种测量工具测验的稳定程度。
根据研究角度不同,信度分为外在信度(external reliability)与内在信度(internal reliability)两大类。
外在信度是指不同时间测量时测量工具测量的一致性程度。
内在信度是指测量工具是否测量的是单一概念,同时也表明测量工具各项目之间的内在一致性程度。
第四章效度信度解决的是测验分数是否可靠的问题,但即使一个测验分数有跨时间的稳定性和跨情境的一致性,却不能保证测验分数代表了被试的真实水平。
比如说,某测验的目的是测量能力,但测题却都是一些死记硬背的知识,测验分数是不能代表被试真实能力水平的。
这就涉及了测量的客观性和准确性问题,即测验的效度问题。
第一节效度概述一、效度的概念测验的效度(validity)指的是测验的有效性,即测验分数能够代表所要测量的心理特质的程度,或测验结果达到测验目的的程度。
任何测验对所要测量的心理特质的测量都不是绝对客观和准确的。
一些编制得好的智力测验一般是效度较高的,但也免不了受智力之外的因素的影响。
因为测验的题目必然要从人们的生活实践中选材,来自不同生活背景的人对同一个测验题目的熟悉程度是不同的,即使智力相同,测验分数也会不同。
因此人们的知识经验就成了影响测验分数的无关因素之一。
研究表明,文化和种族因素会造成测验的不公平,因为与测验分数有关的并不完全是智力。
人格和成就测验同样存在无关因素影响测验分数的问题。
效度总是针对一定的测验目的而言的。
例如,用编制得好的人格测验测量人的个性,诊断心理障碍是有效的,即有一定效度,但若用来测量智力,测量结果就是无效的。
因为人格与智力无关,故分数的高低不能代表智力的高低。
以上讨论的是心理测量中的效度问题,在物理测量中,效度问题也是同样存在的。
如,用不标准的尺子量物体,用不准确的称去称物体,都会使测量的结果不准确。
可见,效度是由于测量工具(量尺)本身的问题造成的,在多次测量中都会恒定地出现而无法消除,因而称系统误差。
测量的效度问题是测验结果中包含了多大比例的系统误差的问题,系统误差可能是由以下几方面原因造成的:(1)所要测量的特质有多方面的含义,而量表本身未能全部包含这些方面;(2)测验题目中包含了与所测特质无关的题目;(3)记分方面的问题,如选择题的备选答案是不全面的,即没有完全体现被试情况的差异,因此答案就不是足够准确的,而且各题目得分是简单累加而未经加权处理,不同题目的重要性程度就没有得到区分。
第三四节第三、四节测验的信度与效度测量心理学>>测验的信度与效度测验的信度与效度⏹本节要点●信度的概念●信度的评估方法●信度与测验分数的解释●影响信度的因素●效度的概念●效度的评估方法效度评估方法●效度的功能●影响效度的因素⏹本节小结⏹试题解析2012年8月12日主讲人:董一胜2第单元第一单元信度的概念测量心理学>>测验的信度与效度>>信度的概念第单元第一单元信度的概念信度的定义信度的指标信度的定义⏹同一被试者在不同时间内用同一测验(或用另一套相等的测验)重复测量,所得结果的一致程度⏹信度只受随机误差的影响⏹CTT●X=T+E 222x T eS S S =+⏹信度的定义2012年8月12日主讲人:董一胜5第单元第一单元信度的概念信度的定义信度的指标第二单元信度评估的方法测量心理学>>测验的信度与效度>>信度评估的方法信度的评估方法⏹重测信度●间隔时间一般在两周到四周,最好不要超过6个月⏹复本信度●以两个等值但题目不同的测验(复本)来测量同一群体,然后求得被试者在两个测验上得分的相关系数⏹内部一致性信度●反映的是题目之间的关系,表示测验能够测量相同内容或特质的程度反映是题目间关,表测能够测相同内容或特质程度⏹评分者信度●测量不同评分者之间所产生的误差,常用的是肯德尔W系数(肯德尔和谐系数)、Kappa法2012年8月12日主讲人:董一胜9第三单元信度与测验分数的解释测量心理学>>测验的信度与效度>>信度与测验分数的解释第三单元信度与测验分数的解释 解释真实分数与实得分数的相关确定信度可以接受的水平解释个人分数的意义比较不同测验分数的差异解释真实分数与实得分数的相关真分数变异占测验的总变异的比例2012年8月12日主讲人:董一胜12第三单元信度与测验分数的解释解释真实分数与实得分数的相关确定信度可以接受的水平解释个人分数的意义比较不同测验分数的差异确定信度可以接受的水平<0 70时测验不能用于对个人作出评价或预测⏹当r xx <0 .70时,测验不能用于对个人作出评价或预测,而且不能做团体比较;⏹当0.70≤ r xx <0.85时,可用于团体比较;⏹当r xx ≥ 0.85时,才能用来鉴别或预测个人成就或作为。