随着影响评估证据迅速扩展，系统综述也逐渐形成了一个小型产业。简单来说，系统综述旨在“汇总针对某个特定问题的现有最佳研究”。我们在 3ie 的数据库 中找到 238 篇系统综述，研究“中低收入国家社会和经济干预措施的有效性”，旨在汇总各类主题的最佳证据，主题包括 分散式森林管理对森林砍伐的影响 以及 小额信贷对女性掌控家庭支出的影响。
但这些系统综述究竟有多具定论性？过去两年里，我们注意到，同一主题存在多篇系统综述：如何改善中低收入国家儿童的学习成果。事实上，我们找到了六篇！当然，这些综述并不完全相同：有些只纳入随机对照试验（RCT），另一些也纳入准实验研究。有些只考察如何改善学习成果，另一些则同时纳入学习成果和入学机会方面的成果。还有一篇只纳入非洲的研究。但它们的共同核心都是试图找出哪些因素能够改善学习成果。
以下是这六项研究：
《识别撒哈拉以南非洲有效的教育干预措施：严谨影响评估的荟萃分析》，作者：Conn（2014）
《学校资源与发展中国家的教育成果：1990—2010 年文献综述》，作者：Glewwe 等（2014）
《发展中世界的教育与学习挑战》，作者：Kremer 等（2013）
《所有儿童都能获得优质教育？发展中国家教育领域哪些措施有效》，作者：Krishnaratne 等（2013）
《改善发展中国家小学学习：随机试验的荟萃分析》，作者：McEwan（2014）
《改善发展中国家的教育成果：严谨评估带来的经验》，作者：Murnane 和 Ganimian（2014）
这些研究合在一起，涵盖了数量庞大的教育研究。它们找出了 227 项研究，这些研究衡量了某种干预措施对发展中世界学习成果的影响。其中 134 项是 RCT。研究来自世界各地，其中不少来自中国、印度、智利，以及—— 你猜对了 ——肯尼亚。但我们阅读这些综述的摘要和引言时发现，彼此虽有一些重叠，但也存在相当大的差异。一篇综述指出，教学干预措施最有效；另一篇认为，信息与计算机技术干预措施最能提高考试成绩；第三篇则强调学校教学材料最为重要。
这是怎么回事？在一篇 近期论文中，我们试图弄清楚。
研究构成各不相同。尽管主题相同，这些研究考察的论文并不相同。事实上，差异相当大。下图显示，在六篇综述所涉及的 227 项具有学习成果数据的研究中，只有 3 项出现在全部六篇综述里。这或许并不令人意外，因为纳入标准各有差异（仅限 RCT、仅限非洲等）。其中一些研究的质量也许不是最高的。但只有 13 项研究出现在多数综述中（4、5 或 6 篇）。全部研究中有 159 项（70%！）只被纳入一篇综述。其中 74 项是 RCT，因此可以说质量较高，本应被纳入更多综述。（当然，也存在质量较差的 RCT 和质量较高的非 RCT。这只是一个例子。）涵盖范围最广的综述所覆盖的研究还不到一半。
如果我们采用更精简的分析，只考察 1990 至 2010 年间撒哈拉以南非洲小学阶段、具有学习成果数据的 RCT（这基本上是六篇综述纳入标准的交集），会发现总共有 42 项研究，而单篇系统综述纳入研究数量的中位数为 15，约占三分之一。因此，这些综述所考察的研究之间，重合程度低得出乎意料。
分类方式又如何呢？各篇综述对同一项研究的分类也各不相同。例如，一项在肯尼亚向女孩提供择优奖学金的计划，可能被归类为降低学费、现金转移、学生激励或绩效激励。同样，一项在印度提供计算机辅助学习的计划，可能被归类为“计算机或技术”，也可能被归类为“教学材料”。
是什么导致结论不同？是研究构成还是分类方式？我们从每篇综述中选出一项正面建议，并考察哪些研究推动了这项建议。随后，我们统计这些研究有多少也被其他综述纳入。如下图所示，这一比例差异很大，但中位数为 33%：换句话说，另一篇综述很可能只包含某篇综述重大建议所依据研究的三分之一。因此，研究构成影响很大。这也解释了为什么例如 McEwan 发现计算机的效果远大于其他研究者：其他综述平均只纳入了推动其结论的研究中的三分之一。
与此同时，分类方式也起着作用。一篇综述将提供教学材料列为提高考试成绩的最佳方式之一。但作者称为“教学材料”的几项关键研究，在其他作者那里被归类为“计算机”或“教学技术”。这些当然都属于教学材料，但并非所有材料都一样。
差异 比表面看起来更大。系统综述往往将干预措施归入不同类别（如“激励”“信息提供”或“计算机”），但若称其中某一类平均回报最高，就会掩盖这样一个事实：这些类别内部的差异往往与类别之间的差异一样大，甚至更大。当 McEwan 发现计算机干预措施的平均回报最高时，人们很容易忘记，同一干预类别中也有不少效果不佳的项目，如下方他论文中的森林图所示。（我们说的就是秘鲁 的 “每个孩子一台笔记本电脑”计划，或 乌拉圭的计划；但不是中国 的那项提供笔记本电脑的计划。天哪，即使在干预措施的子类别内部，效果也存在差异！）事实上，在 McEwan 论文的 11 类干预措施中，有 5 类的类别内效应值标准差，大于整个综述样本效应值的标准差。另有 5 类的类别内标准差超过全样本标准差的一半。这说明，应在干预类别较低的汇总层级报告有效性。
来源： McEwan（2014）
这告诉我们什么？第一，值得投入资源进行穷尽式检索，甚至可能值得重复检索。第二，结合不同的系统综述方法或许有益，例如荟萃分析（非常系统，但会排除一些研究）和叙述性综述（系统性较弱，但能纳入大量研究，也能考察某一干预类别中哪些具体要素使其奏效或未能奏效）。第三，应保持干预类别较低的汇总程度，让这些类别真正具有实用价值。
最后，也许最重要的是，对系统综述的结论要持审慎态度。综述所提出的建议很可能有可靠证据支持；但它推荐的干预类别未必是最佳的，因为很可能有大量证据未能纳入综述。
哦，那么，有哪三项研究入选了全部六篇系统综述？
《许多儿童被落下？肯尼亚的教科书与考试成绩》，作者：Kremer、Glewwe 和 Moulin（2009）
《对学校投入的回顾性与前瞻性分析：肯尼亚挂图案例》，作者：Glewwe、Kremer、Moulin 和 Zitzewitz（2004）
《学习激励》，作者：Kremer、Miguel 和 Thornton（2009）
明天，我们将简要介绍各篇综述中最常被推荐的干预措施类型。
后续工作。现在能否有人对我们这篇关于系统综述的系统综述进行一次系统综述？
本文最初发表于 世界银行“发展影响”博客。发表本文并不意味着世界经济论坛认可其中观点。
若要了解议程的最新动态， 请订阅我们的每周通讯。
作者：David 是世界银行非洲区域首席经济学家办公室的高级经济学家。Anna Popova 是世界银行非洲区域首席经济学家办公室的研究分析师，她在那里从事人类发展干预措施影响评估方面的工作。
图片：2014 年 11 月 5 日，一名女子在肯尼亚首都内罗毕以西高地地区的南迪丘陵一处种植园采摘茶叶。路透社/Noor Khamis。
