随机控制试验法及其在创新_创业和政策评估领域的应用

第３３卷　第８期２０１４年 ８月 技　术　经　济Ｔｅｃｈｎｏｌｏｇｙ　Ｅｃｏｎｏｍｉｃｓ Ｖｏｌ．３３，Ｎｏ．８Ａｕｇ．，２０１４随机控制试验法及其在创新、创业和政策评估领域的应用李纪珍１　李雅文１　陈思澍２（１．教育部人文社会科学重点研究基地清华大学技术创新研究中心，北京１０００８４；２．科技部科技型中小企业技术创新基金管理中心，北京１０００４５）摘　要：随机控制试验广泛应用在理工科，但在人文和社会科学领域则较少，特别是创新创业及政策评估领域。

论文在回顾随机控制试验这一方法的发展历史之后，介绍了随机控制试验法的３种随机分组方式和９个设计步骤，讨论了该方法的一些优势、不足和关注的话题，并探讨了这一方法在科技计划评估中的“黄金准则”价值。

论文期待越来越多的中国学者应用随机控制试验法进行创新创业和政策评估领域的研究。

关键词：随机控制试验；创新；创业；政策评估中图分类号： 文献标志码：Ａ 文章编号：１００２－９８０Ｘ（２０１４）０８－００６２－０６收稿日期：２０１４－０５－０７基金项目：国家自然科学基金项目“基于知识流动的产业共性技术创新平台研究”（７１２７３１５２）；科技部科技型中小企业技术创新基金管理中心项目“科技型中小企业创新基金管理改革研究”（２０１３５６６０５４３）作者简介：李纪珍（１９７４—），男，湖北黄冈人，清华大学经济管理学院副教授，清华大学技术创新研究中心研究员，博士，研究方向：技术创新管理、科技政策、项目管理；李雅文（１９９１—），女，北京人，清华大学经济管理学院博士研究生，研究方向：创新创业管理；陈思澍（１９７９—），男，陕西西安人，科技部科技型中小企业技术创新基金管理中心工程师，研究方向：中小企业管理。

①　ｈｔｔｐ：／／ｗｗｗ．ｐｏｖｅｒｔｙａｃｔｉｏｎｌａｂ．ｏｒｇ１　研究背景２０１２年，麻省理工学院斯隆管理学院著名学者Ｐｉｅｒｒｅ　Ａｚｏｕｌａｙ在发表于《自然》（Ｎａｔｕｒｅ）杂志的文章中提出，随机控制试验（ｒａｎｄｏｍｉｚｅｄ　ｃｏｎｔｒｏｌｌｅｄｔｒｉａｌ，ＲＣＴ）是一个有效评估公共政策效果的方法［１］。

这得到了较多的创新创业学者特别是政策评估领域学者的关注。

Ａｚｏｕｌａｙ在该文中还提到，麻省理工学院的贾米尔贫困行动实验室（Ａｂｄｕｌ　ＬａｔｉｆＪａｍｅｅｌ　Ｐｏｖｅｒｔｙ　Ａｃｔｉｏｎ　Ｌａｂ，Ｊ－ＰＡＬ）①很早就利用随机控制试验法评估了发展中国家在贫困、健康和教育等领域的１００多个公共政策项目的干预效果［１］。

其实，该方法并不陌生，在中国国内具有较大影响力的高盛“巾帼圆梦”万名女性创业助学计划就是利用该方法进行评估的一个项目［２］。

一般来说，随机控制试验法的基本做法是：将研究对象进行随机分组，同时对对照组和试验组实施不同干预（或干预试验组、不干预对照组）并比较干预效果。

在研究样本量足够多的情况下，利用该方法可控制其他已知的和未知的众多因素对各组的影响。

随机控制试验法相比已有的研究方法有很多改进之处。

利用以往方法衡量某项干预是否达到预定目标，通常必须在干预施行后再对其效果进行观察和评价。

这种事后分析法有很多先天不足，如无法确定目标达成是干预本身的结果还是其他因素所致。

在一些研究中，一些不可控的外部因素和选择误差尤其会对干预效果产生重大影响。

而随机控制试验法将研究对象随机分配到对照组和试验组中，从而可以排除外界因素对干预效果可能造成的影响，并最大程度地证明对照组与试验组的差异是由干预产生的。

虽然随机控制试验法具有很多独具特色的优势并在很多领域得到应用，但是该方法却很少被应用在与创新、创业及其政策评估相关的领域，在中国尤其如此。

基于这一现实，本文初步介绍该方法的发展历史，总结相关试验设计及操作步骤，讨论该方法的优势和关注话题，探讨该方法在科技计划评估中的价值。

本文旨在介绍随机控制试验法，抛砖引玉，期待更多创新创业与政策评估领域的学者应用该方法进行研究。

２　发展历史随机实验（ｒａｎｄｏｍｉｚｅｄ　ｅｘｐｅｒｉｍｅｎｔ）法最早应用于心理学。

１８８５年，Ｃｈａｒｌｅｓ　Ｓ．Ｐｅｉｒｃｅ和Ｊｏｓｅｐｈ２６Ｊａｓｔｒｏｗ在《Ｏｎ　Ｓｍａｌｌ　Ｄｉｆｆｅｒｅｎｃｅｓ　ｉｎ　Ｓｅｎｓａｔｉｏｎ》［３］一文中介绍了这一可能的方法。

１８７６年，达尔文就提出可用控制实验（ｃｏｎｔｒｏｌｌｅｄ　ｅｘｐｅｒｉｍｅｎｔ）法研究农业和生物学植物界中异花受精和自花受精的效果［４］。

１００余年来，多个学科的学者们进行了多方面的探索。

例如：Ｆｉｓｈｅｒ在《Ｓｔａｔｉｓｔｉｃａｌ　Ｍｅｔｈｏｄｓ　ｆｏｒＲｅｓｅａｒｃｈ　Ｗｏｒｋｅｒｓ》一书中系统介绍了随机实验法，提出通过控制一些要素就可在统计意义上研究植物的不同生长模式等［５］；Ａｎｓｃｏｍｂｅ对这一比较实验方法的有效性进行了研究［６］———这受到了广泛关注。

①　见《Ｆｉｓｃａｌ　Ｙｅａｒ　２０１１Ｂｕｄｇｅｔ　Ｓｕｍｍａｒｙ－Ｆｅｂｒｕａｒｙ　１，２０１０》（Ｕ．Ｓ．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｅｄｕｃａｔｉｏｎ）。

公认的第一个随机控制试验研究是１９４７—１９４８年英国医学总会进行的链霉素治疗肺结核的试验［７］。

该试验对１０７例肺结核新发病例进行了研究。

在符合入选标准的病人中，５５人被随机分入治疗组（试验组），５２人被分入控制组（对照组）。

治疗组病人接受链霉素治疗和卧床休息；对照组病人只卧床休息。

试验开始前，治疗组病人不知道将接受特殊治疗，对照组病人也不知道自己在住院期间是一个参与特殊研究的对照组病人，因此试验结果令人信服。

此后，医学、生物学等领域的学者采用该方法进行了大量研究。

２０世纪后期，随机控制试验法成为这些领域学者进行学术研究时采用的标准方法。

社会科学领域（如教育学、社会学）也有相当多的此方面研究，而经济管理领域中应用较多的首先是经济学领域。

在过去的３０年中，《美国经济评论》（Ａｍｅｒｉｃａｎ　Ｅｃｏｎｏｍｉｃｓ　Ｒｅｖｉｅｗ，ＡＥＲ）期刊发表了几十篇关于随机控制试验的研究论文。

比如：Ｌａｌｏｎｄｅ的论文《Ｅｖａｌｕａｔｉｎｇ　ｔｈｅ　Ｅｃｏｎｏｍｅｔｒｉｃ　Ｅｖａｌｕａｔｉｏｎ　ｏｆＴｒａｉｎｉｎｇ　Ｐｒｏｇｒａｍ　ｗｉｔｈ　Ｅｘｐｅｒｉｍｅｎｔ　Ｄａｔａ》［８］在政策领域产生了巨大影响，美国国会议员第一次真正明白了计量经济学家在讲什么，部分议员甚至提出以后美国所有的联邦职业培训项目评价都必须基于随机控制试验；北京大学光华管理学院院长蔡洪滨教授等在发表于２００９年的论文《ＯｂｓｅｒｖａｔｉｏｎａｌＬｅａｒｎｉｎｇ：Ｅｖｉｄｅｎｃｅ　ｆｒｏｍ　ａ　Ｎａｔｕｒａｌ　ＲａｎｄｏｍｉｚｅｄＦｉｅｌｄ　Ｅｘｐｅｒｉｍｅｎｔ》［９］中通过随机试验论证了观察学习的效果；２０１４年印度学者Ｊｅｓｓｏｅ和Ｒａｐｓｏｎ也通过随机试验研究了信息促进学习的机制［１０］。

管理学领域同样有很多这种实践或研究。

例如，网飞（Ｎｅｔｆｌｉｘ）是一家提供在线电影流媒体的公司，高峰期的网络流量能占到美国网络流量的三分之一以上。

网飞公司在测试一种被称为“网飞放映室”的预览电影新方式时提供了４个不同版本的服务。

这４种不同版本的服务被随机分配给４个不同的测试组，每个组包含２万个用户，另有一个对照组只接受普通的网飞服务。

网飞公司通过对比测试组和对照组来监测接受新版本服务的用户最终是否观看了更多电影。

目前，国际上有很多组织支持随机控制试验用于评估相关项目的效果及影响。

例如，２００２年美国教育部创办教育科学研究所的目的就是专注于随机控制试验，如今其年度预算约为７亿美元①。

另外，还有许多有特殊政策需求的团体组织也实施了基于随机控制试验的评估。

这些团体组织包括世界银行发展影响评估项目（Ｄｅｖｅｌｏｐｍｅｎｔ　Ｉｍｐａｃｔ　Ｅｖａｌｕａ－ｔｉｏｎ　Ｉｎｉｔｉａｔｉｖｅ，ＤＩＭＥ）、国际影响评估基金（Ｉｎｔｅｒｎａ－ｔｉｏｎａｌ　Ｉｎｉｔｉａｔｉｖｅ　ｆｏｒ　Ｉｍｐａｃｔ　Ｅｖａｌｕａｔｉｏｎ，３ＩＥ）、贫困行动创新组织（Ｉｎｎｏｖａｔｉｏｎｓ　ｆｏｒ　Ｐｏｖｅｒｔｙ　Ａｃｔｉｏｎ，ＩＰＡ）以及由很多发达国家政府设立或资助的评估机构。

３　试验设计和操作步骤顾名思义，随机控制试验一方面要考虑随机（分组），另一方面要控制（对照组）。

对于试验，我们并不陌生，理工农医等学科领域主要就是通过做实验（或试验）来研究的，现在只不过将该方法用于人文社会科学领域———包括创新与创业领域。

３．１　随机分组方式将试验（或实验）对象随机分配到试验组和对照组主要有３种情形。

第一种情形是经典（ｃｌａｓｓｉｃａｌ）实验，这是最基本的随机实验设计，随机分配过程与结果无关。

第二种情形是非混杂随机分配（ｕｎ－ｃｏｎｆｏｕｎｄｅｄ　ｒａｎｄｏｍｉｚａｔｉｏｎ）。

在此情形下，随机分配的过程也与结果无关，但是可能与实验主体的特征有关。

随机分配机制是可观察的或可发现的，通过采用抽样或统计的方法能够尽量减小试验组与对照组的特征差异，因此可对实验效果形成一个相对有效的估计结果。

实际上，创新与创业领域的评估精确度随着评估方法对误差的容忍程度的不同而不同。

有研究将试验组企业的业绩表现与由精心挑选出的典型企业组成的对照组企业的业绩表现进行比较［１１］；有研究基于试验组和对照组在实验开始前的相似特征来选择一个匹配的对照组［１２］。

然而，即使通过谨慎的匹配和选择确定了对照组，试验组与对照组的背景差异也可能导致误差依然存在［１３］，从而产生了第三种方法。

利用此方法可３６ 李纪珍等：随机控制试验法及其在创新、创业和政策评估领域的应用 通过对一家企业被选入试验组的可能性进行模型分析并对事前可能存在的选择误差进行控制，从而控制一些误差对试验组结果可能产生的影响［１４］。

３．２　实施步骤Ｈａｙｎｅｓ、Ｇｏｌｄａｃｒｅ和Ｔｏｒｇｅｒｓｏｎ在《Ｔｅｓｔ，Ｌｅａｒｎ，Ａｄａｐｔ：Ｄｅｖｅｌｏｐｉｎｇ　Ｐｕｂｌｉｃ　Ｐｏｌｉｃｙ　ｗｉｔｈ　Ｒａｎ－ｄｏｍｉｓｅｄ　Ｃｏｎｔｒｏｌｌｅｄ　Ｔｒｉａｌｓ》一文中［１５］，确立了任何随机控制试验都需要遵从的９个独立步骤。

其中，有些步骤是政策评估领域专家所熟悉的，如一开始就需要明确需求（如政策要实现的目标）；有些步骤对于我们而言相对陌生，如要将被研究的或待测试的干预政策随机分配到不同组。

本文对随机控制试验方法的实施步骤进行总结介绍。

１）明确干预措施。

随机控制试验基本上用于分析“因果关系”，因此首先要确定“因”，也即明确干预措施，如新的政策或新的管理实践。

特别是当我们对某种或更多的干预措施的效果不确定时，更可以考虑随机控制试验，以便可对这些干预措施的“果”进行比较。

比如，随机控制试验可用于比较一项新的干预政策与现行政策的优劣。

新的干预政策可能是对现行政策进行的一些小改动，也可能是一个整体的新政策；新的干预政策可能在其他国家或情境下被证明是成功的，也可能已有健全的理论作为后盾，只需要了解本国或本地区的实施效果。