科研项目绩效评价研究

中国科技信息2018年第6期·CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2018

-108-◎科学应用

随着国家经济的持续快速发展，国家科技投入大幅增加，2014年全国研究与试验发展（R&D）投入经费13016亿元，2015年投入经费为14169亿元。科研项目是获取科技经费的重要途径，如此规模的经费投入带动科研项目的激增。为了优化配置资源，使科技经费效用最大化，促进国家整体科技发展实现量增质高的跃升，开展科研项目绩效评价工作十分必要。科研项目的绩效评价是科研管理工作的重要组成部分。随着科研管理体制改革的不断深化，绩效评价工作越来越被重视。科研项目绩效评价的内容主要是对项目中期和最终结果进行科学的质量效益评价，以达到有效调控项目实施，并对项目产出成果做出公正、科学、合理和权威性的评价。从绩效评价的对象来看，包括个体科研项目、团队科研项目等；从科研项目的来源看，包括政府科研项目的绩效评价和社会资金项目的评价等；总之，不同的学者已经关注了绩效评价的诸多议题、指标与方法等。然而，我国科研项目绩效评价的研究起步较晚，面对纷繁多源的科研项目，以及绩效评价的多指标多手段，亟需系统地梳理国内学者关于科研项目绩效评价研究的现状和发展趋势，揭示其研究动态和脉络，这对完善科研项目绩效评价研究具有重要意义。本文以“科研项目”和“绩效评价”为关键词，搜索2001年至2017年3月23日期间，SCI收录、EI收录、CSSCI收录和北大核心期刊论文共44篇，以此为基础做出综述。绩效评价的发展中国在公元3世纪首次将绩效评价应用于人力资源管理，并在该领域沿用至今。19世纪初，美国军方尝试将绩效评价应用于军事领域，从此绩效评价的应用领域不断拓展，20世纪绩效评价已经被广泛应用于工业、企业、文化和经济等领域。20世纪初美国国会服务部对科技活动进行的研究、行业曲线linkindustrypointDOI：10.3969/j.issn.1001- 8972.2018.06.041

本文针对高校科研项目面临的绩效评价现状与问题开展研究，提出指标的赋权方案和评价体系或解决方案，在高校科技绩效评价行业起到一定的理论指导作用。如付诸现实将产生经济效益。可替代度影响力

真实度

分析和评估被认为是现代意义上的科研绩效评价的起源，而20世纪80年代至90年代是科研绩效评价发展的高峰期。1993年美国制定《政府绩效与结果法案》（GPRA）明确对基础研究实施绩效评估，成为首个以法律条文规定对科研活动进行绩效评价的国家。此后各国纷纷效仿，科研项目绩效评价得到了快速发展，评价模型、评价指标和评价方法不断完善，绩效评价成为科研管理的重要手段。我国科研项目绩效评价的研究起步较晚。国家自然科学基金委员会在1986年以课题验收的形式开展项目结题工作，可以说是科研项目绩效评价的雏形，该阶段是绩效评价的自由评价时期。1994年，国家科技评估中心对于政府投资的重大科研计划项目开展了一系列绩效研究和评估实践，绩效评价进入自发式管理评价时期。2003年，科技部、教育部等五部委联合发布了《关于改进科学技术评价工作的决定》，随后科技部颁布了《科学技术评价办法》，标志着我国科学研究评估活动步入制度化、规范化时期 。绩效评价的指标体系研究要对科研项目进行绩效评价，必须首先确立评价原则和评价指标体系。国内文献从不同的角度对指标体系进行了研究，综合起来，主要有科研服务、团队、经费等角度。从科研服务的角度看，部分学者把“用户服务指标”、“科学研究指标”、“人才培养指标”作为评价科研服务平台绩效的一级指标，并以此构建13个可测度的指标体系。从科研团队的角度看，部分学者从科研经费、获奖、著作、专利及论文等五方面选取评价因子对高校科研团队进行绩效评价；高校科研团队的绩效除了教学和科研等指标外，还应该包括团队建设、学生服务和人才培养，周园等学者就从教学、科研、学生工作和创新与成长4个维度，建立了高校科研团队的绩效指标。从科研经费使用的角度，学者通常本着科学性、实用性、有效性和可操作性等原则，从科研投入、科研资源、科研运行和科研产出等维度建立绩效评价的一级指标。其他研究则基本都是从科研项目的投入/产出的角度去建立评价本文受北京市教委科研计划面上项目资助（项目编号：SQSM201611417005）李 林 孙 琼北京联合大学旅游学院李林（1981-）男，山东海阳人。在读博士，助理研究员，主要研究方向为科研管理；孙琼，北京联合大学旅游学院，博士，讲师，主要研究方向为科研管理、旅游管理。科研项目绩效评价研究绩效评价是科研项目管理的重要内容，本文通过对国内相关文献的分析，从绩效评价的发展、指标体系建设和指标赋权方法三个方面开展综述，最后给出当前研究不足的分析和未来研究方向的建议。

2018-06 最终.indd 1082018/3/14 11:59:48

-109-CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2018·中国科技信息2018年第6期科学应用◎指标，是对科研项目在特定的经费、时间条件限制下在人才培养、成果产出、社会服务和学术发展等目标做出考评，该角度的研究又进一步分为对高校科研项目的评价、政府资助科研项目的评价、应用型科研项目的评价等，不同的类型细分出的二级、三级指标不同。综合现有的指标评价体系，可以发现：（1）国内的科研项目绩效评价存在重数量轻质量的问题，评价过程往往更注重论文、专利、著作等科研产出的数量指标，对一些不易量化的经济社会效益缺乏必要的重视。（2）现有的评价体系缺少对项目绩效分类评价的研究。科研项目的来源不同，资助的目标和考核的要求就会有差别，例如科研项目按大类分基础研究、实验发展和应用研究，不同种类的项目存在一定差异，不同类别的项目在评价指标的选择、权重赋值和评价标准上都有差别，难以用同样的绩效评价指标去考量项目成果。（3）现有的项目绩效评价指标多数是在事后静态评价的基础上建立，但是项目绩效评价绝不仅仅是事后评价，而应是贯穿于科研项目管理和经费执行全过程的全面的动态的评价。评价指标赋权方法研究科研评价方法主要分为三类：基于专家知识的主观评价方法、基于统计数据的客观评价方法和基于系统模型的综合评价方法。对科研项目进行绩效评价一个重要的内容是对评价指标赋权值，对指标权重的计算方法研究包含主观赋权、客观赋权和综合赋权三种类型。主观赋权法主观赋权法包含专家评审法和层次分析法。专家评审法是聘请领域专家根据科研项目的类型、经费来源和资助目标等，结合专家的实践经验直接给各个指标确定相应的权重分值。该方法完全依赖专家的主观判断，以此方法确定的指标权重往往不系统、不全面，缺乏科学性。层次分析法是由美国学者萨迪提出，其英文为The Analytic Hierarchy Process（简写AHP）。该方法是将复杂的多目标决策问题看作一个系统，然后将目标分解产生多个层次指标，再通过判断矩阵特征向量求解方法计算出各指标的权数，为决策提供依据。该方法是将决策者对指标间重要性程度的主观经验判断给予量化，指标的划分具有明显的层级分布。虽然层次分析法评价层次分明，又赋予定量化的权重计算，但是指标权重的重要性分配依然是以评价专家主观判断为主，需要依赖专家的经验和学识，因此该方法也属于主观赋权法。客观赋权法客观赋权是依据原始数据之间的关系来确定权重，不依赖决策者的主观判断。常见的客观赋权方法包括熵权法、变异系数法、复相关系数法、主成分分析方法等。熵权法熵在信息论中表示不确定性的度量，被称之为信息熵。绩效评价中若某个评价指标的信息熵越大，则该指标值的变异程度越小，其提供的信息量就越少，在绩效评价中影响作用也越小，故其权重也就越小。反之，其权重越大。用熵权法进行绩效评价的基本思路是：根据指标变异性的程度来确定评价指标的权重。熵权法赋权首先要对各评价指标数据进行标准化处理，然后计算各指标的信息熵，再利用熵值计算各指标的权重，从而得出较为客观的指标权重。指标权重的计算公式为：Wk = （k=1，2，…，n） （1）其中，Ek是第k个指标的信息熵，n是评价系统中的指标个数。变异系数法变异系数是统计学中用来衡量数据差异的指标。在绩效评价指标体系中，取值差异越大的指标越难以实现，但却更容易表现评价目标的差异。变异系数法就是利用各指标所包含的信息，通过变异系数计算得到指标的权重。该方法用指标的变异系数来衡量各指标的差异程度，以此消除评价指标因为量纲的不同带来的影响。该方法用变异系数归一化处理的数值作为指标权重，其计算公式为：Wi = （2）其中，Vi是第i项指标的变异系数。复相关系数法复相关系数法的思路是根据指标相互独立性大小来分配指标权数。该方法认为：某一指标与其他指标重复的信息量越多，该指标在绩效评价中的作用就越小，其权数越应该赋予较小值；反之，某指标与其他指标重复信息越少，越应该赋予较高的权数值。该方法采用复相关系数来衡量特定指标与其他指标信息量重复的多少。其计算步骤首先是要计算各指标的相关系数矩阵，然后计算特定指标与其他指标的复相关系数，最后对复相关系数取倒数，数值归一化后得到各个指标的权数值。其计算公式为：Wj= （3）其中，Pj是指标j与其他指标的复相关系数。主成分分析法绩效评价中的主成分分析法是利用降维思想，将原来具有一定相关性和重复信息的指标重新组合，形成一组少量的且互相无关联的新综合指标（主成分）来代替原来的指标。绩效评价指标体系中指标的信息重复，会增加计算工作量，影响评价的科学性和准确性。主成分分析法可以保留原始指标的主要信息，同时彼此信息又互不重复，更能准备的反映问题的实质。主成分分析的主要步骤如下：首先依据原始数据相关系数矩阵；其次计算相关系数矩阵的特征向量和特征根；最后来确定主成分及相应的权数，一般做法是将特征根归一化处理形成主成分的方差贡献率，再将方差贡献率进行归一化处理，后得到权数。主客观赋权法各有利弊，在对科研项目的评价中不同的应用对权数的要求也不尽相同。综合赋权是综合运用主客观赋权的优势来进行指标赋权，一般分为乘法合成和线性加权组合，综合赋权法可以有效弥补单一方法造成的赋权不科学、不合理的问题。启示与展望现有研究的评价综上所述，本文从3个方面讨论了科研项目绩效评价研2018-06 最终.indd 1092018/3/14 11:59:48中国科技信息2018年第6期·CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2018

-110-◎科学应用究中的问题。从绩效评价的发展历史看，国内学者还没有就科研项目绩效评价的定义达成统一的共识，其评价的指标体系也没有统一的范式。综合现有的研究文献，发现目前国内的科研项目绩效评价研究还存在一些不足。（1）现有研究更多关注科研项目的效益数据，无论是评价指标还是评价方法，重点大多数集中在科研项目的成果产出，而对因时间因素导致的滞后绩效重视不足。同时，现有评价对科研人员的工作投入的考量不足，过分强调项目本身量化指标的完成情况，不利于激发科研人员的积极性。（2）科研项目绩效评价的研究主要集中在项目完成后的质量绩效评价。科研项目从申请立项、过程管理到最后的结题验收，是一个动态的持续的过程，仅仅关注项目完成的后评价，不利于科研项目的全过程管理。（3）现有研究对评价资助方的要求和目的研究不多，如果能从资助方的角度去研究，研究资助方的需求以及各实施主体部门的相互关系，能够更好地进行评价工作。科研项目绩效评价缺乏标准，同类项目应该形成统一范式，不同项目绩效识别和绩效表征都不用，所以要分类评价。未来的发展与方向国内科研项目基本上是采用“课题制”的方式开展研究，这种方式由项目组支配课题经费，由依托单位相关部门负责课题的日常管理，因此未来科研项目的绩效评价应该分为对项目产出成果的绩效评价和对课题管理的绩效评价两个部分。绩效评价的共享信息平台的建设研究也是未来研究的一个方向，如果能够把绩效评价的指标体系、方法通过信息化的平台共享展现，可以大大提高科研项目绩效评价的效率，也能够方便各单位之间横向比较，查找优势和不足。总之，绩效评价是绩效管理的一个重要方面，绩效管理是科研项目管理的重要手段，目的是通过绩效管理促进科研项目研究工作的顺利开展。加强科研项目绩效管理的研究，对科研项目绩效做出准确度量，有利于提升我国科研项目管理的水平，对促进我国科学技术的发展具有重要的实践意义。再者，论文发表在何种期刊上，可以显示出论文的水平和研究的深度。核心期刊是该学术领域比较认可的、发文质量较高的刊物。在图2中，仅《城市车辆》是核心期刊，发文量仅有86篇。说明快速公交领域的研究尚未成熟，还值得研究人员更多的关注。发文较多机构统计分析（以期刊为主）通过统计发文较多机构数据，可以让研究人员了解哪些机构在快速公交的研究领域实力较强，通过对发文较多的研究机构发表的相关文献进行阅读，便于有针对性地了解快速公交的研究方向、发展趋势等。根据STADS的统计结果可以看出，排名前十的机构中，有企业和科研院所各1家，分别是中国铁道建筑总公司（49篇）和天津市市政工程设计研究院（12篇）；有8家是高校，分别是同济大学（48篇）、西南交通大学（44篇）、长安大学（38篇）、东南大学（33篇）、兰州交通大学（23篇）、北京交通大学（22篇）、华南理工大学（16篇）、重庆交通大学（11篇）。其中6家是“211”“958”院校，说明高校对于快速公交方面的研究最为突出。按地域分布来看，华北地区有3家机构，华东、西北、西南地区各2家，华南1家。由此可见，各发文机构所处的省市经济、文化、交通发展各不相同，因此对快速公交的重视程度也不同。获得基金资助情况统计分析根据STADS的统计结果可以看出，近十年来，快速公交相关研究获得基金资助种类约20个，获得这些基金资助的论文有326篇。其中获得最多资助的基金是国家自然科学基金，共资助111项研究，其次是国家高技术研究发展计划（20项）、国家科技支撑计划项目（18项）、国家重点基础研究发展计划（16项）、广东省科技计划项目（15项）。取得专利情况统计分析根据STADS的统计结果可以看出，近十年来，在快速公交方面取得的专利总数为384件，其中52%为实用新型，45%为发明专利，3%为外观设计。取得专利最多的是四川久远新方向智能科技有限公司，共72件。主题共现词统计分析通过对主题词的统计分析，可以了解到快速公交研究领域的研究热点。根据STADS的统计结果可以看出，去除快速公交（1099）、BRT（553）一类使用频次较高的词语外，可以得出相关研究热点分别为：快速公交系统（301次）、公共交通（261次）、公交车（206次）、公交专用道（132次）、城市交通（130次）、轨道交通（115次）、公交优先（112次），这些词的出现频次超过了100次。因此，研究学者们也可以根据这些出现频次较高的主题共现词，结合各自省份的发展情况，寻找自己擅长或者感兴趣的研究方向。结束语以上数据表明，发表一定数量的文献具有较高研究质量和水平，也从侧面上反映出快速公交的研究和发展受到国家的重视。近年来，在“公交优先”的大背景下，贵阳市也开始着手快速公交系统的建设，第一条快速公交系统为中环路BRT，于2017年2月13日正式运营。中环路BRT开通以后，使得市内交通情况有所好转，缓解了城区交通压力，取得了较好的效果，但与实现现代化交通的总体目标还有较大的差距，因此，必须要加强政策引导和政府扶持，加快完善贵阳快速公交系统的规划设计，降低市区交通压力。图2 发文较多期刊统计图（上接第107页）