贫困和不平等数据的有限可得性,对监测世界银行集团的双重目标——消除极端贫困、促进共享繁荣——构成重大挑战。根据一项最近完成的研究,近百个国家在过去十年中最多只有两次贫困估算。更糟的是,其中约一半国家只有一次甚至没有任何贫困估算。*提高贫困数据的采集频率,对于有效监测世界银行的双重目标至关重要。
在此背景下,人们常将“大数据”科学视为一种潜在解决方案。该领域一个著名的例子是“谷歌流感趋势”(GFT),它利用谷歌搜索结果预测流感暴发。这项技术已证明能够极快地生成预测,而且成本效益很高。原始数据量迅速增长,加之计算机科学不断进步,使我们能够以过去甚至难以想象的方式填补其他类型的数据缺口。
然而,近期一些文章提出了若干担忧。其中之一是,“大数据”可能陷入所谓的“醉汉搜寻”或“路灯效应”。大致可以这样说明:
一个醉汉正在路灯下寻找自己丢失的钥匙。一名警察问:“你丢了什么?”那人回答:“一把钥匙,但我找不到。”警察问他:“你记得钥匙是在哪里丢的吗?”他回答:“记得,在那边。”警察看起来很困惑,问道:“那你为什么不去那边找?”醉汉回答:“因为那里没有灯!”
统计学家用“醉汉搜寻”来解释一种观察偏差:人们会在最容易观察的地方寻找答案。“大数据”科学展示了,借助海量数据的便捷获取,以及分析这些数据所需的高性能软件和计算能力,可以取得巨大的进步。但是,我们能否保证“大数据”会就我们最关心的问题带来洞见?还是说,“大数据”仅仅涉及那些容易收集和汇总的信息?尽管发展中国家的互联网接入近来有所改善,许多穷人仍无法上网,也不具备必要的计算机使用能力。“醉汉搜寻”所指的问题,正是将“大数据”用于贫困估算和分析时面临的现实担忧。
蒂姆·哈福德 在《金融时报》中举了一个有趣的 例子。为预测富兰克林·德拉诺·罗斯福是否会赢得总统选举,一本名为《文学文摘》的杂志开展了一次大规模邮寄民意调查,计划覆盖1000万人,即四分之一的选民。在处理了约240万份回函后,《文学文摘》预测共和党候选人阿尔弗雷德·兰登将获胜;而民意调查先驱乔治·盖洛普开展的一项规模小得多的调查,则预测富兰克林·罗斯福会获胜。我们都知道这场较量的赢家是谁。
盖洛普为何获胜?盖洛普的样本经过精心设计,能够反映共和党、民主党和独立选民的分布。另一方面,《文学文摘》将调查表寄给了一份根据汽车登记记录和电话簿编制的名单上的人:这个样本对富人的代表性过高。更糟的是,兰登的支持者更有可能回应调查。这两种抽样特征叠加,导致对选举赢家的预测出现严重偏差。
这个故事的教训是,如果没有适当的抽样,从调查中得出的任何统计数据都可能存在偏差。增大样本量或许能减少抽样误差,但无法消除偏差。规模大但有偏差的样本会产生“精确地错了的统计数据”:抽样误差极小,却仍然反映了偏差。
“大数据”方法是否有效,归根结底取决于数据是否反映了相关目标群体的分布。利用客户数据库进行分析——这类数据库往往规模庞大——对零售商极为有用,因为客户很可能就是零售商关注的群体,也就是未来的客户。但是,通过互联网收集或汇集到数据云中的“大数据”,对贫困估算和分析或许并无特别用处,因为数据提供者可能没有纳入我们最关注的穷人。即使数据涵盖穷人,描述富人的观测值相对比例也可能高于描述穷人的比例,因此,这类数据的简单平均值会偏向富人。
为应对“大数据”面临的问题,如今有人提议将“大数据”方法的便利性与“小数据”方法的统计严谨性结合起来。Lazer等人(2014)将此称为“全数据革命”。文章展示了疾病控制与预防中心(CDC)如何通过使用传统“小数据”方法收集的信息,成功降低GFT的误差。美国人口普查局和劳工部也提出了若干关于如何实现“大数据与小数据的结合”的设想。
世界银行集团目前也在提出多项将“大数据”与“小数据”结合起来用于贫困估算的举措。SWIFT(通过即时、频繁追踪开展福祉调查)就是其中一项。与典型的“小数据”工作一样,SWIFT从能够代表相关目标群体的样本中收集数据。与典型的“大数据”方法一样,SWIFT运用一系列公式/算法以及最新的ITS技术,以缩短数据收集和贫困估算所需的时间并降低成本。例如,SWIFT不使用收集起来耗时的消费或收入数据来估算贫困,而是利用公式,根据易于收集的贫困相关指标进行估算。此外,通过将公式嵌入SWIFT数据管理系统,相关指标可以即时转换为贫困统计数据。为进一步缩短数据收集和处理时间,SWIFT采用与数据云相连接的计算机辅助个人访谈(CAPI),并在可能的情况下使用手机收集数据。
“大数据”科学仍处于早期阶段,这一领域的创新正以光速涌现。此类创新在不久的将来或许会带来全新的解决方案。但我坚信,认识到使用“大数据”方法可能伴随的风险非常重要。在利用“大数据”开展任何分析之前,我们必须仔细检查基础数据是否准确涵盖了相关目标群体;否则,我们可能只是陷入“醉汉搜寻”。
*Hiroki Uematsu、Umar Serajuddin、Christina Wieser和Nobuo Yoshida。(2014)《监测贫困与共享繁荣:发展中国家的数据》,未发表稿,世界银行。
本文最初发表于 世界银行“让我们谈谈发展”博客。发表本文并不意味着世界经济论坛认可其中的观点。
及时了解论坛动态: 订阅我们的每周通讯。
作者:Nobuo Yoshida是世界银行减贫与公平集团(PRMPR)的高级经济学家。
图片:2007年4月14日,一名尼日利亚儿童蹲在拉各斯市中心伊萨莱-埃科街区的露天排水沟旁。路透社。
