英国REF科研影响力评价的方法及启示_徐芳刘文斌李晓轩

的科研评价往往聚焦于科研的中间产品如研究论文 的评价，对科研影响力的评价因实践操作难度大，而 鲜有涉及，但该问题却一再被提及，且多次出现在相 关政策文件中。2012 年党中央、国务院发布的《关于 深化科技体制改革加快国家创新体系建设的意见》② 中，对深化科技评价改革提出要“根据不同类型科技 活动特点，注重科技创新的质量和实际贡献。基础 研究着重评价成果的科学价值；应用研究着重评价 目标完成情况、成果转化情况以及技术成果的突破 性和带动性；产业化开发着重评价对产业发展的实 质贡献”。该文件的提出，引发了国内新一轮对科研 影响力评估方法的探讨。在这种背景下，本文以英 国高等教育机构科研质量评价框架（REF）为依托，着 重从分类评价、专家组结构、评估方法和评估标准几 个方面介绍科研影响力评估的具体内容和特点。本 研究工作对国内学术界各层面小到科研人员评价、 大到国立机构的科研影响力评价都有一定的借鉴意 义，旨在更好地服务于科研管理。
0引言
所谓科研影响力，从广义上可简单理解为科学 和技术对经济社会的作用或贡献。该概念虽未有统 一 的 学 术 定 义 ，但 已 经 频 繁 出 现 在 各 类 评 估 实 践 中[1]，如学术论文或期刊的影响力评价，常见的有 h 指 数、期刊影响因子等[2-3]；又如科研机构亮点工作的评 价，如美国国家科学基金会（NSF）对亮点工作的遴选 聚焦在项目研究的研究价值、潜在的影响和意义、产 生的变革性或突破性的研究结果以及对经济社会的 效益方面①。鉴于科研发展对经济进步、国家创新发 展的重要作用，世界各国纷纷加大科技投入，同时也 更加关注科技创新的质量和效果，科研影响力评价 逐渐成为目前科研评价的核心内容，且多次在国际 会议中集中讨论。2012 年美国评估协会（American Evaluation Association，AEA）的会议主题就定为“影 响力”，在全世界学术圈掀起一股对科研影响力评价 的讨论。对该问题的讨论，学术界和实践层都关注 于如何找到科研与经济社会的联系。在中国，狭隘
艺术
旅游
３６． 通 讯 、 文 化 和 媒 体 研 究 、
图书馆和信息管理
·12·
英国 REF 科研影响力评价的方法及启示
第 07 期
摘要：科研评价是现代科技管理的重要工具，其重要性日益突出。随着公众意识的提升和科研发展的需求，科研评价 已不仅仅局限于科研论文的数量，更多关注科研的质量以及科研对经济社会的贡献，即科研影响力评价。考虑到不 同类型和不同学科的研究工作各有特点，产生的影响涉及经济社会的方方面面，且科研与经济社会之间的关系也不 明晰，如何对科研影响力进行评价既是科研评价的热点也是难点问题。通过解读英国 REF 评估体系中关于评价科研 影响力的内容，提出了为我国各层面各机构开展科研影响力评价的思路和建议。 关键词：科研评价；REF 评估；科研影响力评价 中图分类号：G311 文献标识码：A 文章编号：1002-0241(2014)07-0009-07
REF 是基于学科的以专家评审为主的评估，每个 UoA 都单独配有一个小评估专家组，共计 36 个，由四
基础上，从平等原则出发，设计各学科间适用标准相 对一致的评估方法，是科研影响力评估的难点。下
个大专家组统筹协调。为保证评审专家的专业性和 多样性，英国四个高等教育基金委员会通过公开提名
文将从分类评估、专家组构成、评估方法和评估标准 程序向国内外学术界进行专家聘请，要求专家在开
四个方面着重介绍 REF 中有关科研影响力的评估内 展、管理和评估高质量科研活动方面有丰富的经验，
容，以期为我国开展科研影响力评估提供思路。
同时要求专家从第三方角度评价科研活动的影响。
表 1 REF 四个大学科组
Ａ组 １． 临床医学 ２． 公 共 健 康 、 卫 生 服 务 和 初
级护理 ３． 联 合 健 康 专 业 、 牙 科 、 护
３１． 古典文学
２１． 政治和国际研究
３２． 哲学
２２． 社会工作与社会政策
３３． 神学和宗教研究
２３． 社会学
３４． 艺 术 与 设 计 ： 历 史 、 理 论
２４． 人类学与发展研究
与实践
２５． 教育
３５． 音 乐 、 戏 剧 、 舞 蹈 和 表 演
２６． 体 育 和 运 动 科 学 、 休 闲 和
活动对经济和社会等各阶层产生的广泛影响。评价 标准是是否能产生影响及影响的意义。
（3） 研究环境的质量：重点考察参评单元的资 源（如人、财、物等）管理、人才管理（对学生的培养或 员工的管理）和科研活动参与性三个方面。科研活 动参与指的是参评单元在整个科研体系中的参与情 况，如科研合作、学术团体任职等。评价标准是生命 力和可持续发展。
很显然，四个大学科组的设计充分考虑了学科 的差异性和特点，如 A 组主要是生命和医学类学科， B 组主要是理工工程类学科，C 组主要是社科管理类 学科，D 组主要是人文艺术类学科。上述学科分组体 现了 REF 分类评估的特点，也是为最大程度地保障 不同学科之间评价标准适用的一致性，体现其平等 原则。 2.2 专家组构成
其中，改革的关键点是科研影响力评价，这也是 REF 评估适应时代发展趋势的表现。科研影响力或 科研对经济社会的贡献问题，已引起各界人士的重 视，但由于科研活动类型和学科特点的不同，对经济 社会产生的影响也不同，相应地，评价方法和指标也 有所不同。比如应用类研究产生的影响主要在于科 研成果转化带来的经济和商业效益，评价指标相对 丰富，且容易选取；而基础类研究对经济社会产生的 影响则更多在于社会文化和公众认识方面，评价指 标相对稀缺，且难以选取。如何在考虑学科差异性
对外影响力
研究环境力
研究过程
研究产出
研究发现 研究影响力
① /.
图 1 英国大学卓越研究质量评价框架（REF）
第 07 期
英国 REF 科研影响力评价的方法及启示
·11·
参评单元填写影响力模板，并辅以案例和定量数据 和指标作为证据，供专家评估决策使用。对科研环 境的评估则根据参评单元填写的环境模板的内容进 行评估。
根据图 1 显示，REF 框架中参评单元的科研评价 包含以下三个内容[8]：
（1） 研 究 产 出 的 质 量 ：主 要 指 学 术 论 文 的 质 量。具体来说，学术论文的质量又包括研究新发现 的显著性和研究的学术影响力。评价标准是原创
性、重要性和严谨性。 （2） 研究对外影响力：指参评单元进行的科研
理和药剂 ４． 心 理 学 、 精 神 病 学 和 神 经
科学 ５． 生物科学 ６． 农业，兽医和食品科学
Ｂ组 ７． 地球系统与环境科学 ８． 化学 ９． 物理 １０． 数学科学 １１． 计算机科学与信息 １２． 航 空 、 机 械 、 化 工 和 制 造
工程 １３． 电 气 与 电 子 工 程 学 院 、 冶
·10·
英国 REF 科研影响力评价的方法及启示
第 07 期
1 REF 评估简介
英国开展科技评估的历史较为悠久，也形成了 较为完善的评估体系。在不同层面，已经建立起各 有侧重的科技评价体系，如主要针对科技计划和科 技政策的政府或议会的科技评估，针对基础科学研 究计划与项目、科研机构与科研人员的英国研究理 事会科技评价[4]，以及考察高等教育机构（研究型大 学）科研质量或学术发展水平的 RAE 评估 。 [5] 早在 1986 年，每隔 4~5 年，受英国政府委托，英国四大高等 教育基金委员会（HEFCE、SHEFC、HEFCW 和 DEL） 就在全国范围内组织一次 RAE 评估，为政府分配经 费提供决策依据[6]。由于高等学校发展历史的不同 和整体水平的悬殊，办学又各有特色，以学校为评估 单元很难体现公平性，所以 RAE 的重要特点就是以 学科作为评估单元（UoA）[7]。大学的每一个系或团 体可以选择一个对应或最接近的 UoA 准备评估材料 参加评估。由于 RAE 评估耗资不菲，占用众多评审 专家的大量时间，近年来外界对 RAE 评估颇有微 辞。对此，HEFCE 在坚持 RAE 评估的前提下，进行 了改革，在 2008 年提出了新的卓越研究的评估框架 REF①（如图 1 所示）。该框架已经得到英国政府、高 校、科研机构以及研究人员的认可，于 2008 年英国科 研机构研究单元卓越研究评价中试运行后，即将在 2014 年大范围推广。
第 35 卷第 07 期 2014 年 07 月
科学学与科学技术管理 SCIENCE OF SCIENCE AND MANAGEMENT OF S. & T.
Vol. 35, No. 07 Jul. 2014
英国 REF 科研影响力评价的方法及启示
徐 芳 1，刘文斌 2，李晓轩 1
（1.中国科学院 科技政策与管理科学研究所，北京 100190；2. 英国肯特商学院，英国 坎特伯雷 CT2 7PE）
收稿日期：2013-11-26 基金项目：国家自然科学青年科学基金项目（71201159）；中国科学院科技政策与管理科学研究所重大研究任务项目（Y201211Z05） 第一作者简介：徐芳（1984—），女，江苏人，中国科学院科技政策与管理科学研究所助理研究员，研究方向：科技评价和科技管理。 ①/gkml/dqml_91161/ZZYGLYJ/201303/P020130307386499036148.pdf. ②/jrzg/2012-09/23/content_2231413.htm.
第三，评估结果：REF 评估并没有公布参评单元 在各项（研究产出质量、科研影响、科研环境）的直接 得分，而是仅公布每个参评单元各项在不同等级（4 星、3 星、2 星、1 星和 0 星）的比例。参评单元的最后得 分（GPA）通过公式计算得出：GPA=（4 星的比例 ´ 4+3 星的比例 ´ 3+2 星的比例 ´ 2+1 星的比例 ´ 1）/100。
2 REF 科研影响力评估分析
2.1 分类评估 参加 RAE 评估的大学每一个系或团体都可以选