发展中国家的影响评估证据日益增多。如果需要证据,这里有两项:第一,过去几年发表的一系列系统综述中,关于改善学习成效的影响评估累计数量(按发表日期排列),由一位 同事 和我汇编。第二,近期一项系统综述(IEG 2013)中关于降低孕产妇和儿童死亡率的影响评估累计数量。证据正在迅速增加。


所有这些研究的主要目标之一是影响政策。(正如 Langou & Weyrauch (2013) 所说,这一直是社会科学过去“仅仅几个世纪以来”的目标之一。)影响政策的手段有很多,其中一种很常见的工具是“政策简报”。几乎我撰写或审阅过的每一份影响评估方案的传播计划中,都包含政策简报。其思路很直接:政策制定者没有时间阅读完整的学术论文,更不用说一摞论文了,因此我们会撰写一份简短、非技术性的文件,概述主要结果及其政策启示。
它们真的能产生影响吗?
既然我曾作出并听过这么多关于撰写政策简报的承诺,遇到一项检验这些简报是否有效的实验时,我感到很兴奋(已发表的研究; 较早发布、无需付费即可阅读的报告)。Masset 等人(2013)向发展机构邮件列表中的 75,000 人发送电子邮件,邀请他们参与。约有百分之一的人填写基线调查作出回应。因此,从外部效度的角度看,这是一组极具选择性的个体,他们可能对该主题很感兴趣,也可能时间机会成本较低。尽管如此,我认为这项实验引发了一些关于如何传播影响评估结果以影响政策的有趣思考。
807 名参与者(即那百分之一的人)收到以下材料之一:(1)一份政策简报;(2)一份附有发展组织负责人评论文章的政策简报(诉诸权威);(3)一份附有同一篇评论文章的政策简报,但署名为研究员(纯粹表达观点);(4)一份安慰剂政策简报(即主题完全无关、因此不太可能影响参与者对研究主题看法的简报)。他们还收到一条链接,可在七天内填写后续调查。之后三个月内又发出两封电子邮件,邀请参与者填写更多后续调查。
这份五页的 相关简报 概述了一项系统综述,主题是 “旨在改善儿童营养状况的农业干预措施的有效性”。 该综述有三项发现,Masset 等人的实验对其作了如下概述:
“以食物为基础的农业干预措施有效提高了其所推广食物的产量和消费量,并有一些证据表明,这会增加维生素 A 的摄入量。”
“没有证据表明这些干预措施会影响儿童的营养状况(人体测量指标)。”
“评估这方面证据的研究很少,而且往往依赖薄弱的方法。”
干预组政策简报

[链接]
安慰剂组政策简报

[链接]
在基线调查和后续调查中,研究人员询问参与者是否认为某些干预措施能有效改善儿童营养状况,以及他们认为支持该干预措施的证据有多充分。(参与者可以选择“我不知道”。)问题涉及政策简报中提到的四种干预措施(例如生物强化和家庭菜园),以及另外四种无关干预措施(例如现金转移和驱虫)。
首次后续调查的样本流失率约为 50%,最终一次后续调查(三个月后)的样本流失率约为 70%。这同样使结果难以解读,让它们从“令人信服”降为“值得关注”。话虽如此,作者表明各干预组之间的样本流失率没有差异。与未流失的参与者相比,流失者较少对所涉及的干预措施表达看法(例如,未流失者中有 49% 表达了对生物强化证据强度的看法,而流失者中这一比例为 43%);在基线时表达过看法的人中,未流失者也更可能认为这些干预措施有效,不过这些差异均未达到统计显著性。
作者采用双重差分回归分析,发现这项实验显著提高了参与者对所评估主题的证据强度表达任何看法的可能性;对于生物强化,实验还提高了参与者表达该干预措施实际有效性看法的可能性。(对驱虫等无关干预措施则没有影响。)各干预组之间没有显著差异。
就简报实际如何影响看法(而不仅仅是鼓励人们表达看法)而言,只有生物强化受到影响:参与者对证据强度的评价略有下降;在三个干预组中的两个组里,他们对生物强化实际有效性的评价也有所下调。影响集中在这一主题上并不令人意外:生物强化是政策简报第一页政策启示中唯一重点提及的干预措施:“生物强化可能有所帮助,但尚未被证实是有效的解决方案。”这项有限的影响来自那些在阅读简报前对相关主题没有明确看法的参与者。
简言之,作者发现,这份简报帮助原本对该主题没有看法的人形成了看法,而且这些看法与简报的研究发现一致。
政策简报的效果各不相同
我很想看到有人用不同类型的简报和其他传播工具开展这类实验(并降低样本流失率)。我简要查看了几个政策简报系列:世界银行的 From Evidence to Policy、 Finance & Private Sector Development Impact和 DIME Briefs;贫困行动实验室的 Policy Briefcase 系列;3ie 与发展研究所联合推出的 Evidence Matters 系列;以及我那项工作中的 一份独立简报 。从下面的例子可以看出,这些简报篇幅都在 2 至 5 页之间,有很多相似之处(约半数配有吸引人的照片,大多数文字很多)。但信息呈现方式差异很大:有几份通过图表展示结果,有些突出关键发现,还有些两者都没有(适合真正有耐心的读者)。一些政策简报的结论较弱(如上文实验所涉主题:“我们审阅了证据,但证据并不多”);另一些则有明确有力的结论(例如“现金转移改善营养状况”或“现金转移的影响在项目结束后仍然持续”)。
哪种设计更能促使人们阅读、分享、理解或相信研究结果?我们其实并不知道。

[链接]

[链接]

[链接]

[链接]

[链接]

[链接]
另一方面,也许“这些模式中哪一种有效?”本身就是个错误的问题。一项 针对约 500 名政策利益相关者开展的调查 (对象包括政府、非政府组织、私营部门、媒体等)于 2009 至 2011 年在拉丁美洲和南亚进行。调查发现,在有助于支持政策的信息交流形式中,政策简报几乎排在最末。

只要我们(发展研究界)仍将继续撰写这些关于严格影响评估的简报,对这些简报成效开展严谨研究也将很有价值。此外,在参加下一场线下活动或提供面对面建议时,不妨带上政策简报。
本文最初发表于 世界银行的 Development Impact 博客。本文发表并不意味着世界经济论坛认可其中观点。
订阅我们的 每周通讯,及时了解议程动态。
作者:David 是世界银行非洲区域首席经济学家办公室的高级经济学家。
图片:一名背着婴儿的妇女眺望罗安达(首都)的一处非正规住区,摄于 2012 年 8 月 30 日。路透社。



