疾病暴发往往是一个潜伏却影响深远的全球性问题，当前围绕埃博拉病毒不断涌现的焦虑情绪便是明证。为遏制疾病传播，人们开展了许多努力，其中包括 世界银行 ，该行最近已 承诺提供4亿美元 用于这一事业。疾病造成的不断增长的人类代价已令人痛心；而世界银行估计，如果埃博拉疫情未能得到控制，西非地区还将承受326亿美元的额外经济损失。
那么，开放数据能为卫生领域带来什么？
为了解情况，我们最近 采访了 联合创始人 HealthMap.org的克拉克·弗雷菲尔德。这是一款基于网络的工具，曾因在世界卫生组织正式宣布前9天发现埃博拉疫情而 受到媒体关注 。HealthMap于2006年在波士顿儿童医院创立，利用公共卫生、媒体和开放数据来源，根据包括地点在内的多项筛选条件，提供疾病暴发的实时信息和警报。
2006年，联合创始人克拉克·弗雷菲尔德（开发人员）和约翰·布朗斯坦（流行病学家）在波士顿儿童医院工作。他们希望从当时网络上有关疾病暴发的信息激增中发掘价值。然而，问题在于这些信息组织不佳，无法用于实时决策或分析。
HealthMap使用网络爬虫全天24小时搜索网络，从数十万个相关的公开来源收集数据，包括新闻媒体、卫生团体和政府机构。随后，HealthMap运用筛选和文本处理算法，再将数据提供出来，使公众能够以15种语言了解全球正在发生的疾病暴发活动。
尽管卫生界起初对依赖非正式来源持怀疑态度，HealthMap的方法如今已成为公共卫生监测的重要组成部分。政府机构（包括CDC、HHS和USAID）现在会从HealthMap获取结构化数据流，并将其与自身数据流整合。CDC还与HealthMap合作开发了一张交互式登革热地图，将CDC的官方风险地图与HealthMap的实时疫情数据结合起来。
公共卫生官员和普通公众都经常访问该网站，其中许多人希望了解周围正在发生什么。但也存在挑战。与所有目前通过挖掘自由文本内容来处理数据的方法一样，其中包含大量噪声。人们设计自动化算法来处理并应对这种动态情况，但若没有经过筛选的原始数据流，就难以真正了解正在发生什么。
除了数据量庞大之外，这类数据采集还面临粒度和语言方面的挑战。新闻报道有时不包含地点信息，因此难以确定疫情暴发的具体地点。搜索与疾病相关的词语也会产生大量噪声，通常会检索到科学发现、疫苗接种活动，以及与疾病暴发无关的词语用法变体。例如：贾斯汀·比伯热。
除了改进现有的文本抓取和筛选算法以减少噪声、扩大覆盖范围外，团队还确定了若干未来试验和开发方向。 移动设备的普及帮助HealthMap迈出了下一步。 移动技术促成了一些衍生项目，探索将来自一线的直接报告作为额外数据来源和验证方法。进一步完善算法、以便更好地理解社交媒体数据，也是寻找更有价值信号的一项重点探索方向。团队还计划增加语言种类。
本文最初发表于 世界银行博客
作者：塞缪尔·李是世界银行财务团队成员。财务综合项目旨在让公众及各利益相关方群体能够轻松获取、重复使用并有效利用有关世界银行活动的财务数据。
图片：2014年8月11日，在山东省青岛市一座机场的实验室内，一名卫生检疫研究人员向海关警察演示埃博拉病毒的症状。路透社。
