多元概化理论在内科学临床毕业技能考核中的应用研究
- 格式：pdf
- 大小：325.30 KB
- 文档页数：5
中国高等医学教育２００６年第１期●专题一临床教学研究与改革多元概化理论在内科学临床毕业技能考核中的应用研究姚定康１，朱磔１，许劲松１，吕一刚１，徐丽萍１，王占齐１，陈朱波１，雷新勇２，应子良３，吴正４（１．第二军医大学，上海２００００３；２．上海市教育考试院，上海２００２３５；３．美国哥伦比亚大学统计系，美国纽约１００２７；４．复旦大学，上海２００４３３）【摘要】目的：科学、客观地评价医学生的临床实践技能。
方法：应用新的教育测量理论——多元概化理论对临床医学生毕业前的内科临床技能考核结果进行分析研究。
结果：本次临床技能考核总的概化系数为０．７４３９，相对信噪比为２．９０４７，说明本次考核的信度较高。
考核中第四部分（综合分析）对考生的区分度最大；第五部分（基本理论）的概化系数太低需增加内容来提高该题信度；评分者素质与评分能力相对较好。
结论：多元概化理论能客观、科学地评价内科学临床实践技能考核，其分析结果对于提高及改进临床技能考核质量有较大帮助。
［关键词】多元概化理论；评估；临床技能；医学生［中图分类号］Ｇ６４２．０［文献标识码】Ａ医学是一门实践性很强的学科，临床技能主要是考查医学生在实际处理病人过程中所显示出来的技术与能力，临床能力的评价应着重于非认知领域的行为，是在系统观察的基础上对个人为完成临床实践所必需的能力进行测量。
由于临床技能评价与传统笔试考试方法不同，其影响因素颇多，如何科学客观地评价这些指标和评价方法的有效性、科学性，这是医学教育评估中难题之一…。
本研究通过对临床医学生毕业前的内科临床技能考核结果应用多元概化理论进行研究，旨在对本次考核的测量信度及测量误差进行详细分析，同时对考核内容、实习点及评分者等多种因素进行综合评估，为提高及改进临床技能考核质量提供科学依据。
一、评价指标体系的确立考核一个医学生的临床技能是否合格必须结合具体实际病人，如肺部罗音、心脏杂音、肝脾肿大等一系列阳性体征不是其他考试方法所能替代的。
然而，单一的床边考试并不全面，有些指标如临床思维能力则以口试方式为宜；病史及病程记录结果适合笔试。
我们通过查阅大量文献、调查研究和反复咨询专家，根据ＷＨＯ专家委员会推荐的医学教育中非认知领域的行为指标，确定了我校临床实践技能评价指标体系有五大部分组成：采病史、体检、病史及病程、综合分析、基本理论，每部分又分二级指标，其中“采病史”又分５个二级指标，“体检”又分４个二级指标，“病史及病程”又分７个二级指标，“综合分析”又分４个二级指标，“基本理论”又分２个二级指标。
具体见表１。
五部分均由２位临床经验丰富的临床医学专家对医学生床边考核打分，以他们的平均分作为考生的最后得分。
二、研究对象我校２００４年９９级五年制军海医、麻醉、七年制医学专业［文章编号］１００２—１７０１（２００６）０１—０００１—０５表１医学生临床实践技能评价表６个实习基地共１６８人于毕业前参加内科临床技能考核。
其中上海利群医院１１人，南京军区总医院２４人，第二军医大学长海医院５７人，济南军区总医院１５人，北京海军总医院２８ 万方数据・２・人，第二军医大学长征医院３３人。
考核的目的是医学生经过２年的Ｉ临床实习是否达到临床技能培养目标，另一方面也是通过考核从中选拔出优秀的学生。
因此，该考核既属标准参照性测验范畴，另外也具有常模参照测验特点。
三、研究方法计算采用Ｒ．Ｌ．Ｂｒｅｎｎａｎ提供的ｍＧＥＮＯＶＡ（２００１）软件”Ｊ。
按软件说明要求，先记录考核结果分数，然后再编写多元概化理论的Ｇ研究和Ｄ研究程序，再在ｍＧＥＮＯＶＡ运行得到结果。
本研究设计以下两种研究：（一）随机双面交叉设计研究，即Ｐ×ｉ×ｒ研究。
把考生（ｐ）作为测量目标，试题（ｉ）与评分者（ｒ）作为测量侧面。
考核试题中的五大部分作为五个变量，则该研究属多元随机双面交叉设计。
（二）随机双面嵌套设计研究，即（Ｐ：ｈ）×ｉ研究。
为比较不同点的考生是否存在内科学临床能力方面的差异及其大小（各实习点为测量目标），本研究采用嵌套设计。
考生（ｐ）嵌套于实习点（ｈ），而考生与实习点与试题（ｉ）均交叉，将２位评分者的平均得分作为考生的成绩。
四、结果与分析（一）Ｐ×ｉ×ｒ设计研究。
１．Ｇ研究（ＧｅｎｅｒａｌｉｚａｔｉｏｎＴｈｅｏｒｙ）结果与分析。
Ｇ研究的根本目的在于通过方差分析来具体估计出归因于测量目标、各测量侧面以及各种交互效应的那些总体方差成分的大小”Ｊ。
本文的Ｇ研究结果见表２、３，由表可知第四部分（综合分析）和第五部分（基本理论）的考生方差分量（ｄ２（Ｐ））最大，而第三部分（病史及病程）的考生方差分量最小。
说明考生在综合分析和基本理论这两个方面的能力相差比较大，而第三部分对考生能力的区分度相对较小。
从表２中Ｐ效应部分我们可以看出，５大内容的协方差以及相关系数都比较高，说明考核五大部分的相关性都比较大，将这５个相关性比较大的内容组合一份考核是合理的。
尤其是基本理论与其它几个部分的相关性更高，说明基本理论掌撮的好坏直接关系到能否做好考核的其它几个部分。
从总体来看，评分者方差分量（矿（ｒ））相对都比较小，说明评分者的评分素质与评分能力相对较好；但是试题方差分量（０２（ｉ））相对都比较大，说明由试题引起的误差（如试题太难）相对较大。
如果此测试是标准参照性测验，测验结果要真正反映考生的能力水平，那么由试外引起的系统误差就不容忽视，具体联系试题实际，我们发现每一考题的评分等级没有明确，不能很好用分数区分考生的能力差异，这可能是引起试题误差较大的主要原因之一。
今后，有必要制订更细的评分等级。
对不同分数方差的来源进行分析可以确定不同部分作用差别的原因。
采病史部分中考生方差分量为０．０５０９５，占总分差的１１．８６％；试题方差分量为０．１９５０８，占总方差的４５．４３％；试题、评分者、考生三方面的交叉方差分量为中国高等医学教育２００６年第１期０．１１７４７，占总方差的２７．３６％；这说明考生在采病史方面的分数差异，１１．８６％是由考生在这方面的能力差异引起的，４５．４３％是由试题因素所引起的，２７．３６％是由三方面的交叉因素（如评分者对某些考生在某些试题的评分上有松紧不同）。
类似，第二部分考生方差分量占了９．５２％，试题方差分量占了６１．５５％，三方面交叉方差分量占了２３．２％；第三部分考生方差分量占了５．１６％，试题方差分量占了７７．５０％，三方面交叉方差分量占了９．６３％；第四部分考生方差分量占了１０．４０％，试题方差分量占了６４．７２％，三方面交叉方差分量占了１３．９７％；第五部分考生方差分量占了２．５０％，试题方差分量占了７４．２４％，考生与试题交叉方差分量占了２２．４０％，说明在第五部分中考生与试题交叉（如某些考生擅于做某些试题）所造成的误差也是很大的。
表２考生效应在五个考核指标上的方差和协方差及相关系数注：主对角线上的元索为各效应在相应变量上的方差分量估计，主对角线之下元素为各效应在不同变量间协方差分量的估计，主对角线之上元素为变量闻的典型相关系数的估计。
表３各效应在五个考核指标上的方差效应采病史体检嚣雾嘉羞喜考生主效应（ｐ）０．０５０９５Ｏ．０４８３１０．０３７９６Ｏ．０９６２８０．０９２３０试题主效应（ｉ）０．１９５０８０．３１２４６０．５６９７１０．５９９１２２．７３７３１评分者主效应（ｒ）ｏ．Ｏ００６６ｏ．０００８４一ｏ．０。
ｉｊ０４一Ｏ．０００１５一ｏ．０００８０两者间交互效应（ｐｉ）Ｏ．位５０８Ｏ．０２２７１Ｏ．０４８８０Ｏ．０２６６５Ｏ．８２５９３两者问交互效应（ｐｒ）Ｏ．０３９９７Ｏ．００５５４Ｏ．（３０７８３Ｏ．０７３７１Ｏ．０１５６８两者间交互效应（ｊｒ）０．０００２１—０．０００１７０．００００５０．０００６６一Ｏ．００００３三者间交互效应（ｐｉｔ）０．１１７４７０．１１７８２Ｏ．０７０８００．１２９３０Ｏ．２９６９１２．Ｄ研究结果与分析。
Ｄ研究是在Ｇ研究的基础上通过修改考核内容，改变测量方式方法，控制测量误差及提高测量信度和效度的最佳策略过程。
从表４中我们可以看出本次考核的总的组合Ｇ系数为０．７４３９０，相对信噪比有２．９０４７７，说明从整个考核来看，此次考核有较高的信度。
在常模参照性测验中，概化系数（Ｇ系数）和相对信噪比是两个重要的参数，如果相对信噪比大于１（此时Ｇ系数大于０．５）则说明测量有一定信度，而且数值越大测量的信度就越高，测量就越精确。
相对的，在标准参照性测验中，可靠性 万方数据表４全域合成分数（组合分数）的各种指标指标值全域合成分的方差分量全域合成分相对误差方差分量全域合成分绝对误差方差分量全域合成分的概化系数全域合成分的可靠性指数全域合成分的相对信噪比全域合成分的绝对信噪比指数与绝对信噪比是两个重要的参数。
从表５中可以看出从第一到第四部分的概化系数都大于０．５８，相对信噪比都大于１．３８，说明这四个部分的测量在常模参照性测验中是有一定的信度的，但是第五部分（基本理论）的概化系数只有０．１５７１５，相对信噪比只有０．１８６４５，说明第五部分的相对误差・３・太大，信度太低，有必要修改一下第五部分的试题。
当然从表２中我们也可以看出第五部分与其它四个部分的协方差都比较大，说明第五部分在反应考生名次方面还是与其它四个部分相同的，它的存在也还是有一定意义的。
表５Ｄ研究ＰｘＩｘＲ设计的各个变量的估计值采病史体检嚣黧羹Ｉ丙崔分析理论全域分方差分量相对误差方差分量绝对误差方差分量概化系数可靠性指数相对信噪比绝对信噪比０．０５０９５０．０４８３１０．０３７９６０．０９６２８０．０９２３００．０３６７５０．０２３１７０．０１５９４０．０５９６８０．４９５０３０．０７６１２０．１０１７ｌ０．０９７３３０．２０９５４１．８６３６９０．５８０９８０．６７５８２ｏ．７０４２３０．６１７３５０．１５７１５０．４００９９０．３２２０３０．２８０５９０．３】４８３Ｏ．０４７１９１．３８６５ｌ２．０８４６７２．３８１０１１．６１３３５０．１８６４５０．６６９４３０．４７４９９０．３９００３０．４５９５００．０４９５２评分者人数５＋组合概化系数＋组合可靠性指数ｌ图１评分者人数与组合概化系数及可靠性指标关系３．改变评分者样本容量的Ｄ研究。
图１显示当评分者人数增加时组合概化系数和组合可靠性指数也增加，一般在决策时，希望在评分信度一定的情况下，尽可能减少评分人数。
本次考核如果评分人数从２位增加到３位时，其概化系数只增加了０．０１９９９，组合可靠性指数只增加了０．００６８９，另外，即使把评分者的人数增加到５，组合概化系数也只有０．７８０６７，组合可靠性指数也只有０．４５０７６，所以从增加评分者人数的角度入手去提高考核的信度是不现实的，因此，评分者２位就可以满足本科生临床技能考核要求。
