第22章__一致性检验kappa
- 格式:ppt
- 大小:220.00 KB
- 文档页数:18
一、配对卡方检验把每一份样本平均分成两份,分别用两种方法进行化验,比较此两种化验方法的结果(两类计数资料)是否有本质的不同;或者分别采用甲、乙两种方法对同一批病人进行检查,比较此两种检查方法的结果(两类计数资料)是否有本质的不同,此时要用配对卡方检验。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择McNemanr复选框,进行McNemanr检验。
即配对卡方检验,只能针对方形表格进行。
不能给出卡方值,只能给出P值。
二、一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥两者一致性较好;>Kappa≥两者一致性一般;Kappa<两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
【Kappa一致性检验】远没那么简单在诊断试验中,研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。
如:评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性。
此时,Kappa值可以作为评价判断的一致性程度的指标。
实践证明,它是一个描述一致性较为理想的指标。
因此在医学、社会学等领域中得到广泛的应用。
Kappa 系数的计算方法有两种:1、简单Kappa系数(Simple Kappa Coefficient),这是我们经常运用的方法,两种诊断结果的分级数目相同时使用;2、加权Kappa系数(Weighted Kappa Coefficient),这种方法在两种诊断结果的分级数目不一样时使用。
评价A、B两种检测方法对同一批样品的检验结果(轻度、中度、重度)的一致性,模拟以下两种情况的数据。
情况1:结果的分级数相同的情况分析:该种情况就是A法和B法的检验结果的分级相同,都是3个类别。
这是我们常见的情况。
该方法的SPSS操作大家非常熟悉,在此不在赘述。
主要看下面这种情况。
情况2:结果的分级数不同的情况分析:该种情况就是A法和B法的检验结果的分级不相同。
A法有三种检测结果,而B法只有轻度和中度的两种结果,因为重度的频数为0。
此种情况,要计算至此大家估计还不明白为什么以上两种情况要采用不同的Kappa 检验方法。
大家经常使用SPSS交叉表里的Kappa分析就能计算Kappa值。
但是,你知道它的运算结果到底是简单Kappa值还是加权Kappa值吗?下面用事实说话:(情况2的数据在SPSS交叉表操作里也能算出Kappa值,但是不是正确的!下面将用SAS运行的)SPSS操作如下:SPSS运行结果如下:下面运用SAS计算其加权Kappa系数:程序如下:data kappa;input A B freq;datalines;1 1 61 2 81 3 02 1 52 2 22 3 03 1 83 2 43 3 0;run;proc freq data= kappa; tables A*B;test kappa;weight freq / zeros; run;运行结果如下:由SAS结果可以看出加权Kappa系数的值与简单Kappa系数的值还是有差别的。
kappa检验标准Kappa检验标准。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通常用于评估医学诊断测试的一致性,也可以用于其他领域的研究中。
Kappa检验的结果可以帮助研究人员了解观察者之间的一致性程度,从而评估测试的可靠性和有效性。
本文将介绍Kappa检验的基本概念和标准,以及如何进行Kappa检验的步骤和解释结果。
Kappa检验的基本概念。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通过比较观察者或测试的结果,计算它们之间的一致性程度。
Kappa系数的取值范围为-1到1,其中-1表示完全不一致,0表示随机一致,1表示完全一致。
通常情况下,Kappa系数大于0.75被认为是很好的一致性,0.4到0.75之间被认为是一般的一致性,小于0.4则被认为是较差的一致性。
Kappa检验的标准。
在进行Kappa检验时,需要根据具体的研究目的和数据类型来选择适当的Kappa检验标准。
一般来说,可以根据以下几个方面来确定Kappa检验的标准:1. 确定观察者或测试的一致性指标,在进行Kappa检验之前,需要明确观察者或测试的一致性指标是什么,是分类变量还是顺序变量,这将决定选择适当的Kappa检验方法。
2. 确定Kappa系数的解释标准,根据具体的研究领域和研究目的,需要确定Kappa系数的解释标准,一般是根据Kappa系数的取值范围来判断一致性的程度。
3. 确定置信区间和显著性水平,在进行Kappa检验时,需要计算Kappa系数的置信区间和显著性水平,以确定观察者或测试之间的一致性是否达到统计学上的显著性。
如何进行Kappa检验。
进行Kappa检验的步骤如下:1. 收集观察者或测试的数据,首先需要收集观察者或测试的数据,包括两个观察者或测试的结果和样本数量。
2. 计算Kappa系数,根据收集的数据,可以利用统计软件或公式来计算Kappa系数,得出观察者或测试之间的一致性程度。
⼀致性检验的⼏种⽅式--ICC、kappa、weightedkappa、Kendall ICC(intraclass correlation coeficient):⽤来评价对同⼀对象的多次测量之间的信度(reliability scale)#在SPSS中就是在这个词组⾥包含ICC检验的。
⽐如测量实验⽼⿏的影像学指标,需对同⼀只⽼⿏测量8次,取其平均数或中位数来表⽰该⽼⿏的最终结果值计算公式为MS(mean square)均⽅差,m为测量次数。
均⽅差的计算见two-way ANOVA对⽅差的分解。
ICC最后得到⼀个0--1的值,如果ICC值⼩于0.4,我们认为诊断试验的可重复性较差;如果ICC值⼤于0.75,那么诊断试验的可重复性好。
KAPPA⽤于评价不同测量者(2位)对同⼀事物的判断(⼆分类)是否准确,⽐如医⽣对同⼀批患者使⽤两种诊断⽅式,评价两种诊断⽅式的⼀致性P0(实际⼀致性)=a+d/n #两种⽅法⼀致的占总数的⽐例Pe(理论⼀致性)=((p1*m1)/n+(p2*m2)/n)/n #这样的公式看起来费劲,见下图红圈⾥的计算了对⾓线格⼦的理论频数,所以Pe(理论⼀致性)就是理论上两⽅法评价⼀致之和占总数的⽐例 #对理论频数不清楚的童鞋参看流病书,灵敏度特异度那块KAPPA评价标准:加权KAPPA⽤于在多分类有序变量的情况,⽐如写这篇博⽂的动机来⾃,需要评价对同⼀个患者在前瞻和回顾两个scenarioes得到的同⼀量表的得分是否⼀致。
量表得分为等级资料。
加权分为两种:线性加权(linear)、平⽅加权(quadratic)理解:⽐如对于眼底图像识别的数据,class=0为健康,class=4为疾病晚期⾮常严重,所以对于把class=0预测成4的⾏为所造成的惩罚应该远远⼤于把class=0预测成class=1的⾏为,使⽤quadratic的话0->4所造成的惩罚就等于16倍的0->1的惩罚。
一、配对卡方检验把每一份样本平均分成两份,分别用两种方法进行化验,比较此两种化验方法的结果(两类计数资料)是否有本质的不同;或者分别采用甲、乙两种方法对同一批病人进行检查,比较此两种检查方法的结果(两类计数资料)是否有本质的不同,此时要用配对卡方检验。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择McNemanr复选框,进行McNemanr检验。
即配对卡方检验,只能针对方形表格进行。
不能给出卡方值,只能给出P值。
二、一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性、两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数,是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥0.75两者一致性较好;0.75>Kappa≥0.4两者一致性一般;Kappa<0.4两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥0.75两者一致性较好;0.75>Kappa≥0.4两者一致性一般;Kappa<0.4两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
究竟是否是因果联系,须根据一些标准再加以衡量判断。
所谓联系(associatiom)是指两个或更多个变量间的一种依赖关系,可以是因果关系,也可以不是。
例如,对一组肺癌病人(病例组)和一组未患肺癌但有可比性的人(对照组)调查他们的吸烟(暴露)历史(可包括现在吸烟否,过去吸过烟否,开始吸烟年龄,吸烟年数,最近每天吸烟支数;如已戒烟则为戒烟前每日吸烟支数,已戒烟年数,等等)。
一致性检验之Kappa、ICC、kendall协调系数的差别一致性检验的目的在于比较不同方法得到的结果是否具有一致性。
检验一致性的方法有很多比如:Kappa检验、ICC组内相关系数、Kendall W协调系数等。
每种方法的功能侧重,数据要求都略有不同:一致性检验Kappa系数检验,适用于两次数据(方法)之间比较一致性,比如两位医生的诊断是否一致,两位裁判的评分标准是否一致等。
ICC组内相关系数检验,用于分析多次数据的一致性情况,功能上与Kappa系数基本一致。
ICC分析定量或定类数据均可;但是Kappa 一致性系数通常要求数据是定类数据。
Kendall W协调系数,是分析多个数据之间关联性的方法,适用于定量数据,尤其是定序等级数据。
进一步说明(1)Kappa检验Kappa检验分为简单Kappa检验和加权Kappa检验,两者的区别主要在于:如果研究数据是绝对的定类数据(比如阴性、阳性),此时使用简单Kappa系数;如果数据为等级式定类数据(比如轻度,中度,重度;也或者不同意,中立,同意);此时可使用加权(线性)Kappa系数。
应用举例两个医生分别对于50个病例进行MRI检查(MRI检查诊断共分三个等级,分别是轻度,中度和重度),对比两名医生检查结果诊断的一致性水平。
(1表示轻度,2表示中度,3表示重度)使用路径:SPSSAU→医学实验→KappaKappa系数结果表根据上表可知,两位医生对于MRI检查诊断结论具有较强(Kappa值=0.644)的一致性。
(2)ICC组内相关系数ICC组内相关系数可用于研究评价一致性,评价信度,测量复测信度(重测信度)等。
相对于Kappa系数,ICC组内相关系数的适用范围更广,适用于定量或者定类数据,而且可针对双样本或者多样本进行分析一致性。
但ICC的分析相对较为复杂,通常需要从三个方面进行分析并且选择最优的ICC模型;分别是模型选择,计算类型和度量标准。
六类模型细分模型选择上,需要考虑是否将当前结论延伸推广到其它研究中,也或者考虑是否为研究数据的绝对相等程度。