Meta分析系列之九_Meta分析的质量评价工具_曾宪涛

评价工具之外，还制定了针对系统评价/Meta分析的质量评 价清单（表2）[9]，包括10个条目，其中前2条是筛选问题， 3～10是细节问题；1～5和8～9条均用“是”、“否”及
了一些用于评价系统评价/Meta分析质量的工具，本章将对 “不知道”判定。
目前常用及推荐使用的工具进行简介（本文介绍的量表中 的系统评价均指广义的系统评价，即涵盖了定性评价及Meta 分析，因此，均可以用来评价Meta分析的质量）。 1 AMSTAR量表
解释 在系统评价制作之前，应确定研究问题及纳入/排除标准 至少要有两名独立的资料提取员，且对不同意见采用适当的方法达成一致 至少检索2种电子数据库。检索报告必须包括年份以及数据库，如Central*、EMbase
和MEDLINE。必须说明采用的关键词和（或）主题词，如果可能应提供检索策略。
应对最新信息的目录、综述、参考书、专业注册库，或特定领域的专家进行补充检
通讯作者：田国祥,E-mail:tian-gx@126.com doi：10.3969/j.1674-4055.2013.01.002
系统评价/Meta分析的质量可以分为报告质量和方法学 质量这两个大方面，两个方面存在一定的联系，但也有差 别。报告质量好的研究不一定方法学正确，报告质量不好 的研究也可能具有较好的真实性，但是低下的报告质量将 影响结果的实用性；方法学质量越高，研究的可重复性就 越好，其论证强度越高，结果也越可靠。
《BMC Med Res Methodol》上发表的名为“Development of 准，7分则代表该系统评价完全符合。若前9项有1个以上条
AMSTAR：A Measurement Tool to Assess Systematic Reviews” 目回答为“不能确定”，则表明该系统评价存在“小的缺
9.合成纳入研究结果的方法是否恰当?
时，亦需要明确说明 对于合成结果，应首先确定纳入的研究结果是可合并的，并采用一定的统计方法评 估异质性（如卡方和I2检验）。如果存在异质性，应采用随机效应模型，和（或）考
10.是否评估了发表偏倚的可能性？
虑合成结果的临床适宜程度（如是否适合合并？） 发表偏倚的评估应采用某一种图形进行辅助（如漏斗图及其他可行的检测方法）和
11.是否报告了利益冲突？
（或）统计学检验方法（如Egger回归法） 应清楚交待系统评价及纳入研究中潜在的资助来源
注：Central：Cochrane Central Register of Controlled Trials
表2 CASP清单
条目
提示
第一部分 研究结果可靠吗？
1.系统评价是否定义了一个清晰明确的问题？ 有一个关注以下问题的内容：①研究的人群；②给予的干预措施或暴露因素；③预计的结局
2.系统评价纳入的研究设计类型合适吗？ 最佳排序的研究应：①涉及了研究问题；②采用了合适的研究设计（通常采用随机对照试
3.是否纳入了所有的相关文献？
验评价干预措施） 主要看：①使用了哪些文献数据库？②对纳入研究的参考文献进行了检索；③联系了本领
域的专家；④检索了未发表文献；⑤检索了非英语文献 4.系统评价制作者是否对纳入研究的质量进 系统评价制作者需对纳入研究进行严格的评价。缺乏严格的评价可能会影响研究的结果
亚组分析 5.敏感性分析 包括：①方法学质量评价；②改用其他分析方法；
③发表偏倚 6.应用结果 包括：①结论；②经济性分析
中国循证心血管医学杂志2013年2月第5卷第1期 Chin J Evid Based Cardiovasc Med,Feb,2013,Vol.5,No.1
••
学质量，特别是对于汇总评价制作时。目前，AMSTAR运用 较多的领域有同类系统评价研究、测量工具方法学研究、 卫生技术评估以及被专业期刊编辑作为推荐工具等，在国 内外（特别是国外）得到了广泛的应用。国外一些医学杂 志，如临床医学六大顶级期刊之一的《Ann Intern Med》的 编辑在“The science and art of deduction: complex systematic overviews”一文中阐述同类系统评价的现实意义和科学价 值，明确肯定AMSTAR是汇总评价中系统评价有效的测量 工具之一[12]。CASP清单不仅评价了方法学质量，更考虑了 研究的适用性，因此，更适合用于使用系统评价/Meta分析 结果进行实践时的评价。OQAQ量表不涉及发表质量和研 究的重要性，主要针对系统评价中容易产生偏倚的几个关 键环节，是目前较常用的工具之一。SQAC不仅包括了方法 学质量的评价，还包括了一些适用性的评价内容，但因描 述不够详细而致使不易把握；此外，第3部分第4条提到资 助情况，有许多专家认为药厂赞助的研究质量较差，可信 度低，争论也较多；第6部分第2条，属于经济学评价的内 容，治疗性研究的系统评价中不一定会涉及。因此，SQAC 早期应用较为广泛，现在虽然仍有应用，但已不做推荐。 报告规范主要用于评价制作的质量，而无法用来评价方法 学质量。
3 OQAQ量表
OQAQ量表是由加拿大麦克马斯特大学Oxman AD和 Guyatt GH于1991年研制的用于评价系统评价真实性的最常 用工具（表3）[5-6]。
AMSTAR（A measurement tool for the ‘assessment of
OQAQ涉及9个方面共10个条目，前9个条目可以评为充
制作Meta分析的最终目的是为了使用，但因制作者的 appraisal skill program，CASP，2004）除了制定了前述介绍 水平差距较大，故质量也参差不齐。因此，使用Meta分析前 的针对随机对照试验[1]、分析性研究[2]和诊断性实验[3]的质量
一般是需要对其质量进行评价的；再者，有时还会针对某 一疾病相关的系统评价/Meta分析进行汇总评价，制作时亦 需要进行质量的评价。如同原始研究一样[1-3]，学者们研制
2 CASP清单
4 SQAC量表 SQAC量表[7]是Sacks HS等于1987年研制的用于评价随机
对照试验Meta分析质量的工具。SQAC包括6个方面共23个条 目（表4）。
5 各种报告规范
如同原始研究的报告规范可以用来评价其质量一样， 系统评价/Meta分析的报告规范亦可以用于评价系统评价 /Meta分析的质量。最早用于评价系统评价/Meta分析质量 的报告规范为QUOROM，在经典专著《Systematic reviews in health care: Meta-analysis in context》[10]中，将QUOROM 推荐为评价系统评价/Meta分析质量的“金标准”。此后， QUOROM更新为PRISMA，另有观察性研究的报告规范 MOOSE等，此处不详细列出，可参阅文献[11]。
multiple systematic reviews’）是用于评价系统评价/Meta分 分（报告并正确使用）和不充分（没有报告或不正确），
析方法学质量的量表。2007年荷兰Vrije Universiteit大学医 第十个条目则是对整个文献质量进行打分。评价者对前9
学研究中心和加拿大渥太华大学的临床流行病学专家们在 个问题的情况给予1～7分，1分代表该系统评价不符合标
9.考虑所有的重要结局了吗？ 10.获益是否大于危害和成本？
人群有可能与系统评价中的人群相似 如果系统评价中没有涉及此内容，你是如何看待的？
条目 1 2 3 4 5 6 7 8 9 10
表3 OQAQ量表 描述 是否报告了文献检索方法？ 检索是否全面？ 是否报告了研究的纳入标准？ 是否避免了纳入研究的选择偏倚？ 是否报告对纳入研究进行真实性评价的标准？ 对纳入研究的质量评价是否全面、恰当？ 是否报告了纳入研究的数据合并的方法？ 纳入研究的结局是否适合合并？ 系统评价的结论是否得到了报告数据的支持？ 此系统评价的总体科学性如何？
索或咨询，同时还需检索纳入研究后的参考文献 4.发表状态是否已考虑在纳入标准中，如灰色文献？ 作者应说明其检索不受发表类型的限制。应说明是否根据文献的发表情况排除文献
5.是否提供了纳入和排除的研究清单？ 6.是否描述纳入研究的基本特征？
（从系统评价中），如语种 应提供纳入和排除的研究清单 从原始研究提取的资料应包括受试者、干预措施和结局指标，并以诸如表格的形成
中国循证心血管医学杂志2013年2月第5卷第1期 Chin J Evid Based Cardiovasc Med,Feb,2013,Vol.5,No.1
••
• 循证理论与实践 •
Meta分析系列之九：Meta分析的质量评价工具
曾宪涛，黄伟，田国祥
[中图分类号] R4 [文献标志码] A [文章编号]1674-4055(2013)01-0003-03
行了充分的评价？
（“不是所有发光的都是金子”：Merchant of Venice-Act II Scene）
5.如果对纳入研究的结果进行了Meta分析， 考虑：①研究间的结果是否相似；②是否所有纳入的研究均给出了清晰的结果；③不同研
这样做是否合适？ 第二部分 研究结果是什么？
6.系统评价总的结果是什么？
6 小结
英国牛津循证医学中心文献严格评价项目（crห้องสมุดไป่ตู้tical
基金项目：湖北省教育科学“十二五”规划2012年度重点课题 (2012A050)；湖北医药学院2011年度优秀中青年科技创新团队项目 (2011CZX01)；湖北医药学院2010年度教学研究项目(2010017)
作者单位：442000 十堰,湖北医药学院附属太和医院口腔医学 中心(曾宪涛,黄伟);北京军区总医院心内科(田国祥)
条目 1.前期设计
表4 SQAC量表 描述 包括：①研究方案；②文献检索；③列出了要进行
分析的研究；④排除文献的记录；④治疗的分配方
案；⑤患者的特征范围；⑥治疗范围；⑦诊断标准 2.可合并性 包括：①合并的标准；②合并的方法 3.偏倚的控制 包括：①选择性偏倚；②资料提取偏倚；③不同评
价员间的不一致性；④资助来源 4.统计分析 包括：①统计方法；②统计误差；③可信区间；④
AMSTAR的评价目的是评价系统评价/Meta分析的方法
••
中国循证心血管医学杂志2013年2月第5卷第1期 Chin J Evid Based Cardiovasc Med,Feb,2013,Vol.5,No.1
表1 AMSTAR量表
描述 1.是否提供了前期方案？ 2.纳入研究的选择和资料提取是否具有可重复性？ 3.是否进行了全面的文献检索？
的文章[4]，AMSTAR因此而得名。
陷”；若条目2、4、6、8中有回答为“否”者，则说明存
AMSTAR的条目形成基础有OQAQ（Overview Quality Assessment Questionnaire）[5-6]的10个条目、SQAC（Sacks Quality Assessment Checklist）[7]的24个条目以及另外3个考
在“大的缺陷”。一般有明显缺陷者，其综合评分为1分； 有大的缺陷者评为3分；有小的缺陷者评分为5分；缺陷可 被忽略者为最高分7分。
虑文种偏倚、发表偏倚和灰色文献的条目。AMSTAR研发 组采用探索性因素分析和名义群体技术保证了量表的表 面效度和内容效度；在后续研究中，研发组进一步考验 了AMSTAR的可信度、结构效度和实用性[8]；还专门委托 加拿大药物卫生技术评估中心评估其科学性，评估结果 也十分令人满意。基于此，研发组正式提出了AMSTAR 的标准条目，共有11个条目（表1），并以补充材料的形 式发表于biomedcentral官网，且在参考文献[4]后附有链接 网址以下载AMSTAR的“.doc”格式，网址为http://www. biomedcentral.com/content/supplementary/1471-2288-7-10-S1. doc；亦可通过http://www.biomedcentral.com/1471-2288/7/10 中的“Additional File 1”下载。每个条目均采用“是 （Yes）”、“否（No）”、“不知道（Can’t answer）” 和“不适用（Not applicable）”进行判定。
究的结果是否相似；④是否讨论了任何变化结果的原因 如果你清楚的知道作者的最终结果，考虑：①结果是（数值，如果有的话）；②结果是如
7.结果的精确度如何？ 第三部分 研究结果适用吗？
8.研究结果是否适用于当地人群？
何表示的（NNT、OR等） 查看可信区间，如果提供了话
考虑是否：①系统评价中的人群和当地人群可能完全不同，需要引起足够的关注；②当地
进行总结。应报告纳入研究的系列特征，如年龄、种族、性别、相关社会经济学数
7.是否评价和报道了纳入研究的科学性？
据、疾病状态、病程、严重程度或其他应报告的疾病等 应提供预先选用的评价方法（如有效性研究，评价者是否把随机、双盲、安慰剂对
8.是否恰当地运用纳入研究的科学性推导结论？
照或分配隐藏作为评价标准）；其它类型研究的相关标准条目亦需交代 在分析结果和推导结论中，应考虑方法学的严格性和科学性；且在形成推荐意见