一致性检验KAPPA检验详细解读
- 格式:docx
- 大小:16.82 KB
- 文档页数:2
KAPPA分析说明Kappa 评估说明:⽬的:评价【⽬视测量系统】的检出能⼒对象:从事产品外观检查的岗位⼈员,包括:品管QC、外观全检⼈员周期:新⼊或转岗⼈员培训合格后,在岗⼈员每季度⼀次;标准:《测量系统分析程序》(C0801-S10)《风险分析法(Kappa)分析报告》(FM-C0801-S10-03)制作评估样品(50pcs):1.1 从量产中收集50个产品,不限产品型号,但须为相同⽣产⼯艺;其中有35个为不良品,不良类型需基本覆盖所有常发外观缺陷,缺陷程度不能太明显;1.2 将收集的样品交由品管⼯程师评判,将评判结果和缺陷内容按样品顺序进⾏记录,并对样品做好较隐秘的序号标记(1~50),必要时可使⽤特殊符号;样品序号状态参考值缺陷内容特殊符号1不合格0脏污⽩,⿇点XX… ………50合格1⽆2、评估准备:2.1 评估前,样品收集⼈对被评价⼈进⾏培训,明确产品外观缺陷的评判标准和接收准则;2.2 评估按检验⼯位开展,每次评价3位员⼯,被评价⼈已独⽴上岗并培训合格;不⾜3⼈时也可单独评价;2.3 三位被评价⼈依次完成50个样品的3次检查,累计产⽣150个检查结果,三次检查需交替或间隔⼀定时间后进⾏,确保“盲测”;2.4 需要⼀位数据记录员和⼀位标准判定⼈协助完成评估3、评估步骤:3.1 记录员在评估表上记录被评价⼈的基本信息,确认3位评估⼈的检查顺序(按⼈次交替进⾏)后,开始评估;3.2 记录员调整样品顺序,交由第⼀位被评价⼈检查,记录检查结果,判定正确记【√】,错误记【×】;当检查结果为不合格时,评价⼈告知缺陷内容和位置(若样品有多个缺陷,只要有⼀个缺陷描述正确,即判为正确);3.3 重复步骤1.2,完成余下的8轮样品检查,记录检查结果;再将⼿⼯数据录⼊【kappa分析报告】,形成评估结果报告(合格由1表⽰,不合格由0表⽰)。
3.4 检查中如对样品缺陷有异议,由标准判定⼈评判4、评估结果(判定准则):条件⼀:⼀致性(Kappa值)0.75<Kappa≤1表⽰有很好的⼀致可接受0.4<Kappa≤0.75表⽰⼀致性⼀般条件接受0<Kappa≤0.4表⽰⼀致性不好不可接受条件⼆:有效性&漏判率&误判率结果有效性漏判率误判率备注可接受≥90%≤2%≤5%同时满⾜条件接受≥80%≤5%≤10%同时满⾜不可接受<80%>5%>10%满⾜⼀个测量系统判定条件⼀和条件⼆同时为【可接受】,测量系统判为【可接受】条件⼀和条件⼆同时为【不可接受】,测量系统判为【不可接受】其他情形,测量系统判为【条件接受】,需明确限定条件5、结果应⽤:5.1 部门主管基于测量系统评估结果,更新员⼯的技能等级⽬视表;每季度定期评估后,再次更新技能等级⽬视表;5.2 评价结果为【不可接受】时,关联部门应暂停该测量系统的使⽤,并对已检测的产品进⾏追溯处理;并基于分析报告改进测量系统,如⼈员培训、检查⽅法调整、检查环境改善,必要时考虑调整被测⼈员的岗位安排;5.3评价结果为【条件接受】时,关联部门需采取措施持续改进。
fleiss κ检验的解释
Fleiss Kappa是一种用于判断多列离散无序数据之间一致性的方法。
它通常用于多位评委对运动员打分结果的一致性检验,或者多位专家对某个疾病诊断结果的一致性评估等场景。
Fleiss Kappa的计算公式为:
κ=pab−pacb+cwpab−pacb+cwpab−pacb+c
其中,pab表示a和b两位评委给运动员打分的实际一致的次数,pac 表示a评委给运动员打分的实际一致的次数,b和c是除了a外的另外两个评委。
Fleiss Kappa的值介于-1到1之间,其中1表示完全一致,0表示随机一致,负数表示不一致。
在实践中,通常认为Fleiss Kappa大于0.75表示一致性较好,大于0.40表示有一定的可接受一致性。
需要注意的是,Fleiss Kappa是一种相对较新的方法,其应用和解释可能因领域和具体问题而有所不同。
在使用时,应根据具体的情况和需求选择合适的方法。
一、配对卡方检验把每一份样本平均分成两份,分别用两种方法进行化验,比较此两种化验方法的结果(两类计数资料)是否有本质的不同;或者分别采用甲、乙两种方法对同一批病人进行检查,比较此两种检查方法的结果(两类计数资料)是否有本质的不同,此时要用配对卡方检验。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择McNemanr复选框,进行McNemanr检验。
即配对卡方检验,只能针对方形表格进行。
不能给出卡方值,只能给出P值。
二、一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥两者一致性较好;>Kappa≥两者一致性一般;Kappa<两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显着高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
一致性检验(Kappa检验)诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥0.75两者一致性较好;0.75>Kappa≥0.4两者一致性一般;Kappa<0.4两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
究竟是否是因果联系,须根据一些标准再加以衡量判断。
所谓联系(associatiom)是指两个或更多个变量间的一种依赖关系,可以是因果关系,也可以不是。
例如,对一组肺癌病人(病例组)和一组未患肺癌但有可比性的人(对照组)调查他们的吸烟(暴露)历史(可包括现在吸烟否,过去吸过烟否,开始吸烟年龄,吸烟年数,最近每天吸烟支数;如已戒烟则为戒烟前每日吸烟支数,已戒烟年数,等等)。
一致性检验(Kappa检验)
诊断试验的一致性检验经常用在下列两种情况中:一种是评价待评价的诊断实验方法与金标准的一致性;另一种是评价两种化验方法对同一个样本(化验对象)的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency),是作为评价判断的一致性程度的重要指标。
取值在0~1之间。
Kappa≥0.75两者一致性较好;0.75>Kappa≥0.4两者一致性一般;Kappa<0.4两者一致性较差。
操作方法:单击【Statistics钮】,在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框,则计算OR值(比数比)和RR值(相对危险度)。
病例对照研究(case control study)是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人(称为病例)和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人(称为对照)作为研究对象;调查他们过去对某个或某些可疑病因(即研究因子)的暴露有无和(或)暴露程度(剂量);通过对两组暴露史的比较,推断研究因子作为病因的可能性:如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组,则可认为这种暴露与患病存在统计学联系,有可能是因果联系。
究竟是否是因果联系,须根据一些标准再加以衡量判断。
所谓联系(associatiom)是指两个或更多个变量间的一种依赖关系,可以是因果关系,也可以不是。
例如,对一组肺癌病人(病例组)和一组未患肺癌但有可比性的人(对照组)调查他们的吸烟(暴露)历史(可包括现在吸烟否,过去吸过烟否,开始吸烟年龄,吸烟年数,最近每天吸烟支数;如已戒烟则为戒烟前每日吸烟支数,已戒烟年数,等等)。
其目的为通过比较两组吸烟史的差别,检验吸烟(可疑病因)与疾病(肺癌)有因果联系的假设。
这就是病例对照研究。
如果选择Cochran's and Mantel-Haenszel statistics复选框,则可以为两个二分类变量进行独立性检验和同质性(齐性)检验,同时可进行分层因素的调整。
包括:χ2MH统计量(分层卡方检验)、χ2CMH统计量、同质性检验(用于检验各层的风险情况是否一致)。
可在下方设定相应H0假设的OR值,默认为1。
计算Kappa值的标准误[1]:本例为SK=0.10314。
(4)为Kappa值的假设检验:①H0:Kappa=0。
②统计量U值:U=Kappa/SK,本例为U=5.7214465。
三、实例分析
表13.5 Symmetric Measures 为Kappa的检验结果。
其中Value为计算出的Kappa值, Approx. Sig.为对应的P值。
Value的值越大,表明两者的一致性就越好,对应的P值就越小。
例8.6 有26份咽喉涂抹标本,每份标本分成两份,分别接种在A和B两种白喉杆菌培养基上,观察其生长情况。
问两种培养基对其生长有无显著性差异?(配对卡方检验)
例13.1 例13.2评价某种生化酶诊断前列腺癌与病理诊断的一致性。
(对新诊断手段、方法进行检验)
例13.2 用尿分析仪UA-12和RL-9对400份尿样的尿蛋白进行测定,试评价两种尿分析仪对尿蛋白测定的一致性。
(评价两种化验方法对同一样本的一致性)
四、配对卡方与Kappa检验的关系
Kappa检验重在检验两者的一致性,配对卡方检验重在检验两者间的差异。
对同一样本数据,这两种检验可能给出矛盾的结论。
主要原因是两者对所提供的有统计学意义的结论要求非常严格所致。
结Ⅱ级 1 54 12
果Ⅲ级0 7 45
分别做Kappa检验和配对卡方检验。
结论:两位医生的诊断结果基本一致(Kappa检验),诊断水平有差异(配对卡方检验),乙医生较甲医生容易将矽肺期次判断的偏高。