大数据如何破解发展难题

大数据如何破解发展难题
本内容由人工智能自动翻译。

我们如何遏制埃博拉和 H1N1(俗称猪流感)等迅速传播的疾病?如何确保自然灾害后住在避难所的难民身体健康并免受虐待?我们能否更好地预测并防范从失业、动荡到内战等各种问题?

面向发展的数据分析有能力解决这些以及其他看似棘手难解的问题。但要让分析产生洞见,我们必须有数据输入模型。换言之,数据就是驱动算法的液体燃料。

所幸,数据供给充足:我们每天产生的数据足以帮助回答这些问题及更多问题。但使用这类数据时如何保护隐私,确实令人担忧。比如,若某个非政府组织希望了解人口流动情况,以更好地认识如何预防疾病,它如何获取地理位置数据,并以保障个人隐私的方式加以使用?

答案或许在于数据模型的可移植性。过去的做法是把数据交给政府和非政府组织进行分析,但大型数据集难以管理,传输得越多,隐私面临的潜在风险就越大,遭到滥用的可能性也越高。更现代的做法是“转换思路”,把模型带到数据所在之处。

分析模型开发完成后,导出模型而不是导入数据才更合理。这样,数据就能在其现有的安全地点接受分析——本质上,是把解锁数据洞见的钥匙交给数据所有者。我称之为模型实验室。这种以模型为驱动的大数据分析方法,有望在尝试解决已知问题和验证假设时提高效率。以枢纽为基础的模型实验室,是对基于实地的数据实验室的补充;后者有助于发现那些我们原本不知道该提出的问题。

超级台风带来的启示

分析行业已经在朝这一目标迈进。正如我在 上一篇博客文章中提到的,台风灾后恢复工作就是一个很好的例子。2013年11月,超强台风海燕席卷菲律宾,造成数千人死亡,数十万人无家可归。

为协调基本服务,国际移民组织(IOM)需要了解公民的流动情况。借助分析技术,IOM 在将数据与技术结合后的数小时内,就成功将数据可视化,并提出了此前未曾提出的问题。答案并不总是显而易见。例如,IOM 发现,受灾最严重的城市之一最需要的不是食物或水,而是柴油,以供医院发电机运转,并帮助人们撤离该岛。

IOM 的案例表明,分析技术可以大幅缩短获得洞见所需的时间,但我们还能做得更多。与其把技术带到数据所在之处,尤其是在处理难以移动的大型或敏感数据时,不如直接把模型交给合作伙伴,避免延误获取答案。这也能扩大与非传统合作伙伴的合作,例如电信服务提供商;他们能够在数据留存原处且保持匿名的情况下,基于自己的数据运行模型。IOM 这样的组织一旦拥有预测模型,就能更快地优化疏散路线,或采取措施保障妇女在避难所中的安全,而且可以在问题出现之前采取行动。正如今年的台风黑格比所证明的,这种需求不会消失。

当然,导出模型的用途不止于救灾。无论是抗击埃博拉,还是帮助因战争流离失所的难民,只要数据具有敏感性,移动模型就是合理之举。数据科学家正在认识到,与提供答案所需的数据相比,问题本身的可移植性可能高得多。我的公司正在开展这类合作,我也呼吁业内同行采取同样的做法。分析过去完全由数据驱动,如今则越来越由模型驱动:问题引导我们找到相关数据。而这些数据往往存在于传统来源之外、专有且受隐私保护的壁垒之内。因此,聚焦模型才是明智之举。模型驱动的分析使我们能够提出复杂的多学科问题,并通过众包寻找答案,从而改善人类福祉。

作者:Mikael Hagstrom,SAS Institute 执行副总裁;全球数据驱动发展议程理事会副主席。要进一步了解 IOM 如何运用分析技术开展灾后恢复,请访问此 网站 或 下载 PDF 文件。

图片:2013年8月13日,在柏林的康拉德·楚泽应用数学与计算机科学中心(ZIB),一座用于大规模存储数字数据的机器人磁带库。路透社/Thomas Peter

分享:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。