理解数据的“形状”,可能改变我们的世界

理解数据的“形状”,可能改变我们的世界
本内容由人工智能自动翻译。

我们生活在一个非同寻常的时代。生成和存储数据的能力已达到令人眼花缭乱的规模。这些数据中蕴藏的信息,为这一代人解决最紧迫的问题提供了机遇,这些问题涵盖疾病与气候变化,也涵盖医疗保健与客户洞察。

这一机遇的规模,由所创造的数据规模决定,而这一规模令人震惊。

过去15年间,全球互联网用户数量增长了750%以上,达到30多亿,并将在不久的将来突破50%的渗透率。这一群体每分钟在Facebook上分享超过250万条内容,发布超过30万条推文,并发送超过2.04亿条短信。

此外,随着物联网的兴起,数据增长在未来几年将急剧加速,到2020年,将有200亿至300亿个“物”实现互联。这些“物”传输的数据范围广泛,从您的汽车、您的恒温器,到您牛群的健康状况,无所不包。

这一爆炸式增长的基础,是数据存储技术与架构的非凡进步。2002年至2014年间,经质量调整后的数据存储设备价格以年均近30%的速度下降。在有效存储数据的增量成本几乎为零的情况下,各机构的应对方式是尽可能多地采集数据,其理念在于,其中所蕴含的信息将为企业创造有意义的价值。

尽管采集和存储技术取得了进步,知识生成却仍然滞后。这取决于各组织如何对待其数据、如何开展分析,以及如何通过机器智能实现学习的自动化。

从本质上看,这是一个数学问题。对于任何数据集,可能的假设或查询总数都随数据规模呈指数级增长。指数函数对人类而言已经难以理解;更复杂的是,数据本身的规模也在呈指数级增长,并且随着物联网全面启动,即将迎来另一个拐点。

数据1

这意味着,我们可以向数据提出的问题数量正面临双重指数级增长。如果我们沿用过去行之有效的方法,即反复向数据提问,直至得到正确答案,那么我们将错失把握这一代人机遇的良机。

世界上现有的以及未来永远都不会有足够多的数据科学家,足以让这一方法取得成功。我们也无法为足够多的公民数据科学家配备新软件,使这一方法取得成功。那些让提出问题或形成假设变得更容易、更高效的软件,忽视了核心前提:随着新数据每毫秒都在产生,它们只会越落越远。

要真正释放数据中蕴藏的价值,我们需要将注意力转向数据本身,暂且搁置问题。事实证明,这同样是一个数学问题。数据,事实上具有形状,而这一形状蕴含着意义。数据的形状能告诉你关于数据的一切所需信息,从显而易见的特征,直到其最隐秘的奥秘。

我们知道,回归会产生直线。

数据2

我们知道,客户细分会产生群组。

数据3

我们知道,经济增长与利率具有周期性特征(疟疾等疾病也具有此类形态)。

数据4

了解数据的形状,以及我们在形状中所处的位置,能极大地增进我们对当下状况、过往轨迹的理解,更重要的是,能增进对接下来可能发生什么的理解。认识数据的形状,就能理解数据集的每一个特征,立即抓住数据中真正重要的内容,从而大幅减少需要提出的问题数量,加速发现过程。

通过转变思路,即从数据的形状入手,而非从一系列问题(这些问题往往带有显著偏见)入手,我们便能从这些快速增长、规模庞大且复杂的数据集中提取知识。

隐藏在电子病历、账单记录和临床记录中的知识,足以改变医疗服务的提供方式以及疾病的治疗方式。政府、大学和其他机构庞大数据存储中所蕴含的知识,将为气候变化的讨论提供启示,并指明为子孙后代保护地球所需采取的行动。被网络、交易、客户关系管理、社交及其他数据所掩盖的知识,将描绘出更清晰、更有意义的客户画像,进而界定最佳的互动方式。

这是我们这一代人将数据转化为知识的机遇。要实现这一目标,需要一种不同的方法,而这种方法有能力影响全人类。

2015年全部“技术先锋”的完整详情 可在此查看。

作者:Gurjeet Singh是Ayasdi的联合创始人兼首席执行官,该公司是世界经济论坛 “技术先锋”。

图片:参观者坐在一张形似“大数据”的长椅上,摄于2015年5月26日,地点为中国贵州省贵阳市2015大数据博览会场馆外。REUTERS/Paul Carsten

分享至:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。