我们生活在一个非同寻常的时代。生成和存储数据的能力已达到令人眼花缭乱的规模。这些数据中蕴藏的信息,为这一代人解决最紧迫的问题提供了机遇,这些问题涵盖疾病与气候变化,也涵盖医疗保健与客户洞察。
这一机遇的规模,由所创造的数据规模决定,而这一规模令人震惊。
过去15年间,全球互联网用户数量增长了750%以上,达到30多亿,并将在不久的将来突破50%的渗透率。这一群体每分钟在Facebook上分享超过250万条内容,发布超过30万条推文,并发送超过2.04亿条短信。
此外,随着物联网的兴起,数据增长在未来几年将急剧加速,到2020年,将有200亿至300亿个“物”实现互联。这些“物”传输的数据范围广泛,从您的汽车、您的恒温器,到您牛群的健康状况,无所不包。
这一爆炸式增长的基础,是数据存储技术与架构的非凡进步。2002年至2014年间,经质量调整后的数据存储设备价格以年均近30%的速度下降。在有效存储数据的增量成本几乎为零的情况下,各机构的应对方式是尽可能多地采集数据,其理念在于,其中所蕴含的信息将为企业创造有意义的价值。
尽管采集和存储技术取得了进步,知识生成却仍然滞后。这取决于各组织如何对待其数据、如何开展分析,以及如何通过机器智能实现学习的自动化。
从本质上看,这是一个数学问题。对于任何数据集,可能的假设或查询总数都随数据规模呈指数级增长。指数函数对人类而言已经难以理解;更复杂的是,数据本身的规模也在呈指数级增长,并且随着物联网全面启动,即将迎来另一个拐点。
这意味着,我们可以向数据提出的问题数量正面临双重指数级增长。如果我们沿用过去行之有效的方法,即反复向数据提问,直至得到正确答案,那么我们将错失把握这一代人机遇的良机。
世界上现有的以及未来永远都不会有足够多的数据科学家,足以让这一方法取得成功。我们也无法为足够多的公民数据科学家配备新软件,使这一方法取得成功。那些让提出问题或形成假设变得更容易、更高效的软件,忽视了核心前提:随着新数据每毫秒都在产生,它们只会越落越远。
要真正释放数据中蕴藏的价值,我们需要将注意力转向数据本身,暂且搁置问题。事实证明,这同样是一个数学问题。数据,事实上具有形状,而这一形状蕴含着意义。数据的形状能告诉你关于数据的一切所需信息,从显而易见的特征,直到其最隐秘的奥秘。
我们知道,回归会产生直线。
我们知道,客户细分会产生群组。
我们知道,经济增长与利率具有周期性特征(疟疾等疾病也具有此类形态)。
了解数据的形状,以及我们在形状中所处的位置,能极大地增进我们对当下状况、过往轨迹的理解,更重要的是,能增进对接下来可能发生什么的理解。认识数据的形状,就能理解数据集的每一个特征,立即抓住数据中真正重要的内容,从而大幅减少需要提出的问题数量,加速发现过程。
通过转变思路,即从数据的形状入手,而非从一系列问题(这些问题往往带有显著偏见)入手,我们便能从这些快速增长、规模庞大且复杂的数据集中提取知识。
隐藏在电子病历、账单记录和临床记录中的知识,足以改变医疗服务的提供方式以及疾病的治疗方式。政府、大学和其他机构庞大数据存储中所蕴含的知识,将为气候变化的讨论提供启示,并指明为子孙后代保护地球所需采取的行动。被网络、交易、客户关系管理、社交及其他数据所掩盖的知识,将描绘出更清晰、更有意义的客户画像,进而界定最佳的互动方式。
这是我们这一代人将数据转化为知识的机遇。要实现这一目标,需要一种不同的方法,而这种方法有能力影响全人类。
2015年全部“技术先锋”的完整详情 可在此查看。
作者:Gurjeet Singh是Ayasdi的联合创始人兼首席执行官,该公司是世界经济论坛 “技术先锋”。
图片:参观者坐在一张形似“大数据”的长椅上,摄于2015年5月26日,地点为中国贵州省贵阳市2015大数据博览会场馆外。REUTERS/Paul Carsten





