我们对援助项目的长期影响究竟了解多少?

我们对援助项目的长期影响究竟了解多少?
本内容由人工智能自动翻译。

每个人都有自己最喜欢的故事:某个项目发展成一场声势浩大的社会运动(SEWA),或促成了一项技术创新(M-PESA),或衍生出一个蓬勃发展的新组织(New Internationalist、 Fairtrade Foundation)。但这都是挑着成功案例来说。更严谨地看呢?我们该如何设计一项研究,考察我们所有工作的长期影响?这里有些初步想法,也欢迎大家提出建议:

一种做法是开展类似我们自己的 成效评估的研究,不过把时间往前追溯——比如从我们2005年的项目组合中随机抽取20个项目,再设计尽可能严谨的研究来评估其影响。

当然,这样做会面临一些重大的方法论挑战。追溯的时间越久,期间出现的混杂事件和参与者就越多,归因也越发困难,仿佛水流入沙中。如果这个村子的耕作方式比邻村更高产,谁能断定这要归功于你十年前开展的那个项目?而且,如果这些做法确实有效,其他社区很可能也注意到了——该如何把积极的外溢效应和连锁影响纳入考量?这些连锁影响还可能扩散得更广,影响政府政策,或改变人们的态度和信念。每当遇到这类让我头疼的监测、评估与学习(MEL)问题,我总会求助于乐施会的专家
。我咨询了乐施会专家 Claire Hutchings。她认为实际困难甚至比我想象的还要大:“项目结束后,就连弄清项目实际做了什么都很困难。参与项目的员工和合作伙伴通常由限定用途的资金资助。资金一旦结束,他们就会离开;没有他们,要弄清实际发生了什么、超越文件中所述的计划或记录,难度极大。”

Claire认为,试图寻找归因关系很可能是徒劳的:“我确实认为,项目结束一段时间后,我们需要调整,或许还要改变对评估能够切实考察什么的预期。例如,与其专注于理解、举证或评估某个项目对变革过程某一部分的贡献,不如试着理解变革过程本身,以及各种促成因素(项目可能只是其中之一)。”

我的同事John Magrath是乐施会非正式的机构记忆专家。他认为,一个办法是更多借助历史学家和人类学家,因为他们熟悉长期视角。他还指出,从捐助方和地方组织的角度看,局势的变动性截然不同——捐助方来来去去,而地方组织往往随时间推移稳定得多。因此,部分而言(呼应Claire的观点),我们应该努力理解它们成功的源头,而不必过于在意把某种功劳归于自己。

Tim Harford在《Adapt》 一书中指出,成功往往像凤凰涅槃般从早先失败的废墟中崛起;援助领域也是如此。我们怎么知道,人们何时在某个早已终止、被放弃的项目中掌握了技能,后来又把这些技能用于别处并取得巨大成功?

或者,同一个项目也可能从最初的失败走向后来的成功,正如Chris Blattman最近在 一项美国社会项目的文章中所写。如果你的监测、评估与学习工作随着项目结束而停止,你甚至可能永远不会发现最终的成功。

做这一切,是为了探索特定项目的重点或设计如何影响其长期成效,从而为下一代项目的设计提供依据。有没有基金会愿意接受这一挑战?

好消息是,已经有人在考虑类似的问题——我刚收到 VSO的Janet Clark发来的这段话:

“作为起点,我们委托开展了一项评估,在斯里兰卡所有境内项目结束一年后进行。尽管这只是理解可持续性的一小步,我们也在考察能否对其他项目开展更长期的影响评估。

评估问题主要围绕:地方合作伙伴如何定义能力;VSO志愿者对能力发展的贡献;组织能力变化的其他解释;能力发展带来的意外后果;以及能力发展成果在多大程度上得以维持。评估还探讨了变革如何发生,例如能力发展最初能否成功并随后得以维持的关键因素是什么,以及通过安排国际志愿者开展能力发展,有哪些独特且可明确证明有效之处。

国家办公室关闭一年后开展评估,遇到了一些实际的后勤挑战——我们得到了前员工的宝贵支持,但他们正忙于新的工作和项目。以前的合作伙伴有时难以记起一些可追溯至十年前的干预细节,有些关键合作伙伴员工也已离职。这些因素意味着证据链有时薄弱或已丢失,但并非总是如此。

本文最初刊载于 世界银行“People, Spaces, Deliberation”博客。本文刊载不代表世界经济论坛认可其中观点。

如需了解议程的最新动态, 请订阅我们的每周通讯。

作者:Dr Duncan Green是乐施会英国分会研究主管,也是发展研究所(Institute for Development Studies)的访问研究员。

图片:儿童在一间被毁坏的学校教室里玩耍。路透社。

分享:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。