通常被称为“大数据”的海量信息集合涵盖了我们生活的几乎每一个方面,人们对于能从分析这些多样化数据集中获得哪些洞见,已充满热情。 益处 涵盖的范围从更优的资源配置(无论用于政府服务还是促销活动),到更有效的医疗治疗。然而,真正的洞见只能来自准确且完整的数据,因此牢记数据是如何收集的至关重要。
数据科学家 深知 准确、完整数据的重要性。毕竟,如果数据本身不可靠,你基于分析得出的结论也必然是无效的。
为避免这一陷阱,大多数数据分析项目中一项主要的 成本 来自 数据准备与清洗 ,即查找并纠正数据中的错误。这些错误包括:数值错误、条目缺失、实体混淆(即两个不同实体的信息因错误被合并,例如两人同名)以及重复录入(即同一实体的信息被分散记录,例如同一人的姓名拼写不同)。当数据集较小时,分析人员可以人工检查并验证每一条记录。对于大型数据集,我们则必须依赖计算机执行的算法。此类算法的开发本身如今已成为一个子领域。
“垃圾进,垃圾出”这一古老的格言,在数据集日趋复杂、规模庞大的今天比以往任何时候都更为贴切,而轻信数据表面所暗示内容可能带来的后果,有时也相当沉重。
错误如何悄然出现
数据中的错误可能由多种原因产生。例如,用户在填写网络表单时经常出错。数据清洗软件可以核验邮政编码是否与街道地址相符,甚至可能加以纠正。因此,如果州名与城镇名一起被填入城市字段(例如城市字段中填写的是“Plainfield, NJ”),数据清洗便可以将州名条目移至正确的字段。又或者,若某条街道的门牌号仅为1至80号,数据清洗软件便可以将录入的“125”门牌号标记为错误。许多无意造成的错误,都可以由设计精巧的软件发现,并可能予以修正。
录入不当的数据并非不准确的唯一来源。错误常见于跨数据集关联数据的环节。除非两个数据集的每条记录都带有唯一标识符(例如社会安全号码),否则很难在数据集之间匹配条目:很可能出现本应彼此独立却最终被关联在一起的条目,也可能出现实际对应却未被关联的条目。
另一个常见的错误来源,是计算机软件依据其他更为复杂的数据生成表格条目。例如,若你撰写了一篇产品评论,它可能会沿着几个简单维度(例如氛围、食物口味、服务、性价比),被归纳为几个类别之一(例如“喜爱”“喜欢”“厌恶”)。归纳后的形式便于定量分析,而原始文本形式则不然。但在归纳的过程中,同样可能出现错误。
至少不要诱使人们撒谎
当错误源于用户有意的选择,而非无心之失时,脏数据几乎无法清理。假设你把邻居的地址填成了自己的:在不了解你更多情况的前提下,设计再精巧的软件也无法识别这种谎言。毕竟,所填地址在技术上是有效的条目,只是并不正确而已。
若要信任分析结果,我们就必须确保数据收集程序至少不会给用户作弊的动机。
不妨想想那些例行要求我们填写个人信息的网络表单。许多用户会在这些表单中填入虚假的电子邮件地址,或许是出于对垃圾邮件的担心。一些网站会对所填电子邮件地址加以确认,例如发送一个需要用户点击的验证链接。但这种验证既昂贵又不友好。另一种相辅相成的做法,是让网站建立起值得信赖的声誉,使用户愿意分享其电子邮件地址,而不必担心可能遭到滥用。
事实上,人们(以及企业和其他实体)只有在感到数据收集值得信任时,才会提供正确且完整的数据。美国人口普查局之所以能够收集高质量的数据,是因为它能够 向公民保证 ,即他们在人口普查中申报的内容,除统计报告之外,不会用于税收征管或任何其他此类政府用途。尽管抓获逃税者或许可取,而且显而易见,人口普查数据能够极大地提升政府识别逃税者的能力,但大多数国家的法律仍 禁止此类对人口普查数据的使用,因为一旦公民得知人口普查数据可用于税款计算,他们便会有动机对普查员撒谎。
大数据无法战胜高风险情境中的撒谎动机
或许你并不真正在意,是否会收到那封针对性的每周邮件,告知你本地连锁店中可能让你感兴趣的促销信息。但在其他情境下,大数据准确性的利害关系无疑要高得多。
不妨以当前备受关注的 德国隐私法争议 为例,该争议聚焦于飞行员安德烈亚斯·卢比茨(Andreas Lubitz)的心理健康。据称,他 故意驾驶飞机撞向阿尔卑斯山 ,并于三月造成150人死亡。鉴于其心理健康状况,他本不应驾驶飞机。有人主张,他的雇主汉莎航空(即德国之翼的母公司)本应能够完全查阅卢比茨的心理健康档案,从而在他有机会坠毁航班之前,将其拒于驾驶舱之外。
但是,削弱隐私法并不能让当局了解像卢比茨这样的人的真实心理健康状况。相反,它只会降低官方健康记录作为事实记录的可靠性。像卢比茨这样热衷飞行、梦想成为飞行员的人,如果知道其病历可能被用来对付自己,很可能会想尽一切办法,将任何可能导致丧失资格的状况从官方医疗记录中隐瞒起来。遗漏与虚假陈述的动机,将削弱收集和使用可靠数据集的能力。在这种情况下,隐私将被牺牲,却换不来任何安全上的回报。更好的做法是保持医疗记录数据的干净,并通过在正式医疗体系之外进行的测试来为飞行员进行资格认定。
作为社会,充分利用我们所拥有的一切数据资源是件好事。但在热衷于使用数据的过程中,即便出于良好的动机,也必须注意不要毁掉这一数据资源的质量。如果我们不谨慎地部署这些大数据集,就会收集到质量低劣的数据,在存在个别令人担忧之处的情况下尤其如此,例如卢比茨的健康记录。我们从大数据中得出的推论,其可靠程度只能与我们输入的各个数据点相当。
本文与 The Conversation合作发表。发表不代表世界经济论坛对其观点的认可。
如需及时了解 Agenda 的最新内容,请订阅我们的每周电子通讯。
作者:H V Jagadish 是 Bernard A Galler Collegiate Professor,任职于 University of Michigan,担任电气工程与计算机科学教授。
图片:2013年5月21日,在柏林拍摄的这张插图中,一个放大镜被置于电脑屏幕前。 REUTERS/Pawel Kopczynski.



