当前位置:文档之家› 客观结构化临床考试在江苏省住院医师培训阶段考核中的应用与分析

客观结构化临床考试在江苏省住院医师培训阶段考核中的应用与分析

客观结构化临床考试在江苏省住院医师培训阶段考核中的应用与分析

■ 朱滨海① 占伊扬② 孙宁生③ 沈历宗② 周玉皆④ 唐宁一③

沈 勤④ 朱春霞⑤ 虞海平① 赵 沛① 徐 颖⑤ 王 虹②

【关键词】住院医师培训 客观结构化临床考试 临床能力 阶段考核

【摘 要】目的:建立和实施江苏省住院医师培训阶段考核的客观结构化临床考试方案,并评价方案的可靠性和适宜性。方法:用客观结构化临床考试的思想和方法,建立考试方案并实施;用信度、难度系数和区分度等统计指标评价方案的可靠性和适宜性。结果:客观结构化临床考试方案共设9个站点,分别为影像学检查判读、心电图判读、临床检验报告分析、病史采集、体格检查、回答问题、书写病历、病例分析、基本技能操作。江苏省各考试科目的总体合格率为91.5%。南京市内科考试成绩可信,各站点考试成绩的难度系数、区分度等结果适宜。结论:江苏省住院医师培训阶段考核的客观结构化临床考试方案是可靠的和适宜的。

Analyze on the application of objective structured clinical examination in residency training stage assessment in Jiangsu province /ZHU Binhai, ZHAN Yiyang, SUN Ningsheng, et al //Chinese Hospitals.-2012,16(12):56-59

【Key words】resident training, objective structured clinical examination (OSCE), clinical skills, stage assessment

【Abstract】Objectives: To establish and implement the objective structured clinical examination programs of resident training stage in Jiangsu Province, and assess the reliability and suitability of the program. Methods The examination program was set up by the ideas and methods of the objective structured clinical examination. The statistical indicators of reliability, coefficient of difficulty and discrimination were used to evaluate the reliability and suitability of the program. Results There are total 9 sites of objective structured clinical examination program, including the interpretation of the imaging studies, ECG interpretation, clinical test reports, collect medical history, physical examination, answer questions, written records, case analysis, the basic skills to operate. The overall pass rate of examination subjects is 91.5% in Jiangsu Province. The results of Nanjing internal medicine examinations in different regions are credible. The degree of difficulty and the differentiation are suitable. Conclusions The objective structured clinical examination program of Jiangsu Province residency training stage assessment is reliable and suitable.

Author’s address:The First Affiliated Hospital with Nanjing Medical University, No.300, Guangzhou Road, Nanjing, 210029, Jiangsu Province, PRC

基金项目:江苏省社会科学基金项目(10JYD030);江苏省高校哲学社会科学基金项目(2010SJB630049);南京医科大学“十二五”教育研究课题(NY2222011012)①南京医科大学第一附属医院教育处,210029 南京市广州路300号②南京医科大学第一附属医院院长办公室,210029 南京市广州路300号③江苏省卫生厅科技教育处,210008 南京市中央路42号

④南京大学医学院附属鼓楼医院,210008 南京市中山路321号⑤南京市卫生局科技教育处,210008 南京市双龙巷22号

学严谨的住院医师培训阶段考核是评估住院医师临床工作能力的重要

方式,是检验住院医师培训效果的必要环节,是保证住院医师培训质量的重要措施。在住院医师培训阶段考核中,如何客观、有效地评价住院医师的临床工作能力,已成为近年来国内外住院医师培训改革的难点和热点问题之一。

江苏省住院医师培训阶段考核分为理论考试和临床技能考试两部分。理论考试采用人机对话网络考试模式,临床技能考试采用客观结构化临床考试。客观结构化临床考试(objective structured clinical examination,OSCE),又称多站

式临床技能考试,是一种对医生临床工作能力进行评价的考试方法,其最突出的特点和优势就是可以对考生临床技术操作进行直接和客观地评价,目前欧美等国家和地区已普遍用于医师执业资格考试和住院医师培训考试[1-5]。本研究旨在建立和实施江苏省住院医师培训阶段考核的客观结构化临床考试方案,并对考试成绩进行统计学分析,以评价此方案的可靠性和适宜性。

1 对象与方法

1.1 研究对象

研究对象为符合2012年江苏省住院医师培训第一阶段临床技能考试报考条件并实际参加考试的考生3095人。临床技能考试报考条件:2011年和2012年江苏省住院医师培训第一阶段理论考试合格人员。理论考试报考条件:医学专业本科及以上学历,取得执业医师资格并注册,执业类别是临床医学和口腔医学,培训及考试科目与执业范围相对应,并已完成住院医师第一阶段培训的人员。

1.2 研究方法

运用客观结构化临床考试的思想和方法,在总结江苏省住院医师培训阶段考核经验的基础上,借鉴北京等地住院医师培训阶段考核的经验,建立江苏省住院医师培训阶段考核的客观结构化临床考试方案,并在全省组织实施。

1.3 统计分析方法

本研究采用SPSS 17.0统计软件包进行统计分析。

1.3.1 正态分布检验。采用Kolomogorov-Simirnov单样本检验对考试成绩进行正态分布检验。

1.3.2 描述性分析。采用最小值、下四分位数、中位数、上四分位数、最大值和合格率等指标描述考核成绩分布情况。

1.3.3 信度分析。信度(reliability):是衡量实测值与真值差别程度的统计量,是反映考试的稳定性和可靠性的指标。本研究采用内部一致性信度系数中的Cronbach系数法来研究此次考试的信度。Cronbach系数又称α系数,计算公式为[6]:α=[N/(N-1)](1-∑S i2/ S t2),N为考试站点数,S t2为考试总成绩方差,S i2为每站点成绩方差。

1.3.4 适宜性分析。难度(difficulty)系数:是表示各站点难易程度的指标,通常用P表示,非客观题分组法计算公式为[6]:P=(X H+X L-2NL)/2N(H-L)。区分度(discrimination):是表示各站点区分考生能力的指标,通常用D表示,非客观题两端法计算公式为[6]:D=(X H-X L)/ N(H-L)。

上述二式中,X H为前25%高分组得分,X L为后25%低分组得分,H为最高得分,L为最低得分,N为考生总数的25%。站点-总分相关系数表示该站点成绩的高低和总成绩高低的相关性。去站点Cronbach系数表示如果删除该站点后,内部一致性信度系数的改变。

2 结果

2.1 客观结构化临床考试方案2.1.1 组织管理体系。江苏省住院医师培训阶段考核临床技能考试工作由江苏省卫生厅科教处统一领导,全省实行统一考试模式、统一考试方案、统一考试时段、统一评分要求。考试方案和评分要求由江苏省卫生厅委托江苏省毕业后医学教育研究室(设在笔者所在处室)制订。考务工作由13个省辖市卫生局组织实施,部属、省属医院实行属地化管理,由所在地的市卫生局统一组织考试。2.1.2 考试科目和内容。第一阶段考试

科目为卫生部《专科医师培养标准》

中规定的17个普通专科,为内科、

外科、妇产科、儿科、急诊科、神经

内科、皮肤性病科、眼科、耳鼻咽喉

科、精神科、儿外科、康复医学科、

麻醉科、医学影像科、医学检验科、

病理科、口腔科。考试内容为卫生部

《专科医师培养标准》中要求的普通

专科培训内容,侧重于考察普通专科

重点疾病诊疗技术的掌握情况和应用

能力。

2.1.3 考试方案。内科、外科、妇产

科、儿科、急诊科、神经内科、皮

肤性病科、眼科、耳鼻咽喉科、精神

科、儿外科、康复医学科、口腔科的

客观结构化临床考试方案为9个站点,

具体安排如下。

第一站:影像学检查判读。根据

各专业特点选择相应影像学检查,包

括X线片、CT片、MRI片、超声图、核

素显像图等影像资料,利用多媒体演

示,同一考试科目的考生同时进行,

考试时间为20分钟。评分要点为简要

描述、诊断等。

第二站:心电图判读。根据各

专业特点选择相应心电图,利用多媒

体演示,同一考试科目的考生同时进

行,考试时间为20分钟。评分要点为

简要描述、诊断等。

第三站:临床检验报告分析。

根据各专业特点选择相应临床检验报

告,包括临床基础检验、化学检验、

免疫学检验、血液学检验、微生物检

验等报告,利用多媒体演示,同一考

试科目的考生同时进行,考试时间为

10分钟。评分要点为简要描述、诊断

等。

第四站:病史采集。内科考试病

例包括心血管系统病例、呼吸系统病

例、消化系统病例、泌尿系统病例、

血液系统病例、代谢及内分泌系统病

例各1题,考生从中随机抽取1题;外

科、妇产科、儿科等考试科目类似,

考试病例均为本专科的病例,考生从

中随机抽取1题。采用标准化病人模拟

接诊,考试时间为15分钟。评分要点

为现病史、既往史、沟通技巧等。

第五站:体格检查。考生对病史

采集的标准化病人进行体格检查,考

试时间为15分钟。评分要点为系统体

格检查和专科体格检查。

第六站:回答问题。结合病史采

集和体格检查的病例,回答考核专家

的提问,考试时间为10分钟。评分要

点为临床思维、诊断及依据、鉴别诊

断、治疗方案等。

第七站:书写病历。结合病史采

集和体格检查的病例,书写一份首次

病程记录,考试时间为20分钟。评分

要点为诊断及依据、鉴别诊断、治疗

方案等。

第八站:病例分析。根据所给的

病例,解答所提问题,考试方式为笔

试,考试时间为20分钟,同一考试科

目的考生同时进行。评分要点为诊断

及依据、鉴别诊断、治疗方案等。

第九站:基本技能操作。根据各

专业特点选择相应技能操作,如内科

考生从胸穿、腹穿、腰穿、心肺复苏

等中随机抽取1项;外科考生从消毒

铺巾、切开缝合、换药等中随机抽取1

项;妇产科考生从妇科检查、产科四

步触诊、正常分娩接生、消毒铺巾等

中随机抽取1项。采用模拟人、模型和

器械考核,考试时间为20分钟。评分

要点为术前准备、无菌观念、操作程

序、熟练程度、术后处理等。

整个考试分三部分计分:第一部

分是辅助检查判读和检验报告分析,

为第一站至第三站,总标准分为100

分,其中第一站、第二站标准分为40

分,第三站标准分为20分;第二部分

是接诊病人,为第四站至第八站,总

标准分为100分,每站标准分均为20

分;第三部分是基本技能操作,为第

九站,标准分为100分。实行单项淘汰

制,即任何一部分不合格者判定为整

个考试不合格。

麻醉科考核方案仅设第一部分和

第三部分,第一部分侧重于与麻醉相

关的辅助检查判读和检验报告分析;

强化第三部分,每名考生需考心肺复

苏、气管插管、椎管内麻醉穿刺这3项

技能操作,均在模拟人、模型和器械

上进行。医学影像科、医学检验科、

病理科考核方案也仅设第一部分和第

三部分,分别根据各专业特点强化相

应考试内容。这四个专科考试分二部分计分,每部分总标准分为100分,均合格者判定为整个考试合格。

2.2 客观结构化临床考试结果2.2.1 江苏省考试成绩总体情况。参加2012年江苏省客观结构化临床考试的考生共3095名,其中考试合格2833名,总体合格率91.5%。按考试科目分类,医学检验科考生人数最少,为7人,内科考生人数最多,为830人;精神科合格率最低,为82.9%,康复医学科和儿外科合格率最高,为100.0%。17个考试科目的考生人数、合格人数和合格率详见表1。

2.2.2 南京市内科考试成绩情况。参加2012年南京市内科客观结构化临床考试的考生共171名,考务工作由南京市卫生局委托南京大学医学院附属鼓楼医院承担。对内科考试总成绩正态性进行检验,统计量Z=0.776,P=0.584,取α=0.05,表明南京市内科考试总成绩呈正态分布。内科考试总成绩最低19

3.0分,下四分位数237.5分,中位数251.0分,上四分位数26

4.0分,最高296.0分;平均分249.4分,标准差20.1分。

南京市内科客观结构化临床考试共设9站,对各站点考试成绩正态性进行检验,取α=0.05,由相应统计量可知各站点考试成绩均呈非正态分布。故本研究用中位数描述其集中均势,用最小值、下四分位数、上四分位数和最大值描述其离散程度。各站点考试成绩的正态性检验统计量、最小值、下四分位数、中位数、上四分位数和最大值详见表2。

南京市内科客观结构化临床考试各站点考试成绩内部一致性信度系数——Cronbach系数为0.566。各站点考试成绩的难度系数中,检验报告分析最难,系数为0.570,基本技能操作最易,系数为0.753。各站点考试成绩的区分度中,基本技能操作最小,为0.404,心电图判读最大,为0.612。各站点考试成绩的站点-总分相关系数中,病例分析最小,为0.305,体格检查最大,为0.631。各站点考试成绩的去站点Cronbach系数中,回答问题最小,为0.501,基本技能操作最大,为

0.563。各站点考试成绩的难度系数、

区分度、站点-总分相关系数、去站点

Cronbach系数详见表3。

3 讨论

3.1 江苏省住院医师培训客观结

构化临床考试合格率分析

阶段考核的合格率对住院医师

参加培训的具体行为会产生一定的影

响。合格率过高,住院医师可能会因

此缺乏培训的压力,出现培训松懈现

象;合格率过低,住院医师可能会因

此出现畏难情绪,影响培训的积极

性。2012年江苏省住院医师培训第一

阶段理论考试各考试科目的总体合格

率为85.1%,理论考试合格者方可参

加临床技能考试,客观结构化临床考

试的总体合格率为91.5%,这样阶段

考核的整体合格率为77.9%。在客观

结构化临床考试中,参考人数大于50

人的9个考试科目,其合格率范围为

87.0%~94.8%。我们认为,这样的合表1 2012年江苏省住院医师培训客观结构化临床考试成绩总体情况

表3 2012年南京市内科客观结构化临床考试各站点成绩适宜性分析

表2 2012年南京市内科客观结构化临床考试各站点成绩正态性检验和描述性统计

格率是适宜的,一方面给予住院医师一定的培训压力,另一方面也不会出现较大的畏难情绪。

3.2 考试方案适宜性和可靠性分析样本的选择

客观结构化临床考试的适宜性和可靠性分析,需依据相应统计指标的结果进行综合评估。在统计分析中,系统误差是可知的或可能掌握的,是可以避免的。此次客观结构化临床考试是由13个省辖市卫生局分别组织实施的,不同省辖市在考务工作具体执行上,如对客观结构式临床考试方法的理解和把握上、考官在考试成绩评判上、考试环境的硬件和软件条件上等方面可能存在差异,这些差异都是系统误差。为避免不同省辖市因考务工作具体执行差异而产生的系统误差,本研究对不同省辖市的不同考试科目分别进行分析,以控制系统误差,提高分析结果的可靠性。为避免重复叙述,综合省辖市和考试科目二个因素,本文选择参考人数最多的南京市内科考试成绩进行描述和分析。

3.3 南京市内科客观结构化临床考试的信度分析

信度是指考试成绩的可靠性,用于评价考试成绩能否正确地反映住院医师的临床技能实际水平。文献报道的客观结构化临床考试的可靠性很不一致,信度系数95%可信区间为0.16~0.99[5,7]。虽然客观结构化临床考试的各个站点都是用于测量医师临床技能的实际水平,但是各站点考核的内容和侧重点不一样,各站点考核的临床技术操作不同,而这些临床技术操作是分散在不同的临床医疗工作中的,同一医师掌握不同临床技术操作的熟练程度性是不一样的,这是导致客观结构化临床考试的可靠性不一致,信度系数范围较大的主要原因之一。

一般认为,Cronbach系数与考试结果可信程度对应关系为:α<0.3时结果不可信,0.3≤α<0.4时结果勉强可信,0.4≤α<0.5时结果可信,0.5≤α<0.7时结果很可信(最常见),0.7≤α<0.9时结果很可信(次常见),

α≥0.9时结果十分可信[8]。南京市内

科各站点考试成绩内部一致性信度系

数为0.566,表明此次考试结果很可

信,能够正确地反映住院医师的临床

技能实际水平。

3.4 南京市内科客观结构化临床

考试各站点适宜性分析

各站点难度过大会让多数考生不

会做,难度过小会让多数考生都会做

都,这样都会影响整体考试的信度。

一般认为,难度系数的合适范围为

0.4≤P≤0.9,难度系数值越大表示试

题越容易[6]。南京市内科各站点考试成

绩的难度系数范围为0.570~0.753,表

明是各站点难易程度是比较适宜的。

区分度反映各站点对住院医师临

床能力的区分能力,区分度好的站点

能将不同临床能力的住院医师区分开

来。美国当代教育测量方法学家Rober

Ebel 根据大量实践得出区分度D的评价

标准为:D<0.2时区分不好,0.2≤D

<0.3时区分尚可,0.3≤α<0.4时区

分良好,D≥0.4时区分非常好[6]。南京

市内科各站点考试成绩的区分度范围

为0.404~0.612,均大于0.4,表明各

站点区分度非常好,是比较适宜的。

站点-总分相关系数反映各站点

成绩与总成绩的相关程度。一般认

为,站点-总分相关系数>0.20,提

示该站点的应答分值高低和总分高低

相关性较大,说明它们与考试的目

的关联较大[8]。南京市内科各站点考

试成绩的站点-总分相关系数范围为

0.305~0.631,表明各站点与本次客观

结构化临床考试的目的关联较大,是

比较适宜的。

去站点C r o n b a c h系数,是指删

除该考试站点后,如果Cronbach系数

升高,则表明删除该考试站点后可提

高整个考试的信度;如果Cronbach系

数降低,则表明删除该考试站点后会

降低整个考试的信度。内科各站点考

试成绩的去站点Cronbach系数范围为

0.501~0.563,即如果删除任一站点,

整个考试的信度均会有不同程度的降

低,表明此次内科客观结构化临床考

试中9个站点的设计是适宜的。

3.5 南京市内科客观结构化临床考

试的可靠性和适宜性结果的外推

本研究在对2012年南京市内科客

观结构化临床考试成绩进行统计分析

的同时,也对2012年江苏省分省辖市

和考试科目、且参考人数在100人以上

的其他4个考试项目的成绩分别进行统

计分析,比较其统计结果,发现和南

京市内科考试成绩统计结果相类似。

因此,可将南京市内科客观结构化临

床考试的可靠性和适宜性推论外推到

各省辖市的各考试科目中。故可认

为,江苏省住院医师培训阶段考核的

客观结构化临床考试方案是可靠的和

适宜的。

[收稿日期 2012-10-09](责任编辑 王远美)

参考文献

[1] 孟群.中外住院医师/专科医师培训

制度概况[M].北京:中国协和医科大学出

版社,2010:193-194.

[2] Molly Cooke, David M. Irby, William

Sullivan, et al. American Medical Education

100 Years after the Flexner Report [J]. The

New England Journal of Medicine, 2006,

355(13):1339-1344.

[3] Lukas, Rimas V, Adesoye, et al.

Student assessment by objective structured

examination in a neurology clerkship [J].

Neurology. 2012, 79(7):681-685.

[4] Yu Tzu-Chieh, Wendy, Wheeler, et

al. Effectiveness of standardized clerkship

teaching across multiple sites [J]. The

Journal of surgical research J Surg Res.2011,

168(1):e17-23.

[5] Brannick, Michael T, Erol-Korkmaz,

et al. A systematic review of the reliability of

objective structured clinical examination scores

[J]. Med Educ. 2011, 45(12):1181-1189.

[6] 孙宝志.实用医学教育学[M].北京:

人民卫生出版社,2011:284-296.

[7] Rodriguez MC, Maeda Y. Meta-

analysis of coefficient alpha [J]. Psychol

Methods 2006, 11 (3):306-322.

[8] 邹扬.客观结构化临床技能考试

(OSCE)中信度的相关研究[D].上海:复

旦大学,2009.

相关主题
文本预览
相关文档 最新文档