“大数据”作为一个术语的历史或许很短,但构成其基础的许多理念早在很久以前就已奠定。
早在计算机(如我们今天所熟知的那样)普及之前,学术界就已广泛认可这样一种观点:我们正在创造一个不断扩大的知识库,等待人们加以分析。
尽管人们很容易忘记这一点,但我们存储和分析信息的能力不断增强,是一个渐进演变的过程——当然,上世纪末随着数字存储和互联网的发明,进程确实加快了。
随着大数据有望在今年走向主流,下面简要(但不算特别简略)回顾思想与创新的漫长历史;正是它们引领我们迈向数据时代的黎明。
数据的古代历史
约公元前18,000年
我们所知最早的人类存储和分析数据的实例,是计数棒。伊尚戈骨于1960年在如今的乌干达境内出土,被认为是史前数据存储的最早证据之一。旧石器时代的部落成员会在木棒或骨头上刻下凹痕,以记录贸易活动或物资。他们会比较木棒和凹痕,进行初步计算,从而作出预测,例如食物储备还能维持多久。
约公元前2400年
算盘——专门为计算而制造的第一种设备——开始在巴比伦使用。最早的图书馆也大约在这一时期出现,代表着我们首次尝试大规模存储数据。
公元前300年—公元48年
亚历山大图书馆或许是古代世界规模最大的资料收藏地,藏书卷最多可能达50万卷,涵盖了当时我们在几乎所有领域已知的一切。不幸的是,人们认为它于公元48年被入侵的罗马人摧毁,或许是无意造成的。与常见传说相反,并非所有藏品都荡然无存——其中相当一部分被转移到城内其他建筑,或遭窃取并散落到古代世界各地。
约公元100—200年
安提基西拉机械问世,它是目前发现的最早机械计算机,据推测由希腊科学家制造。它的“中央处理器”由30个相互啮合的青铜齿轮组成,人们认为它是为占星用途以及追踪奥林匹克运动会周期而设计的。其设计表明,它很可能是更早一种设备的演进产物——但迄今尚未发现这种早期设备。
统计学的兴起
1663年
在伦敦,约翰·格朗特开展了有记录以来首次统计数据分析实验。他通过记录死亡率信息,推论自己可以设计一种早期预警系统,以应对肆虐欧洲的鼠疫。
1865年
理查德·米勒·德文斯在其《商业轶事百科全书》中使用了“商业智能”一词,描述银行家亨利·弗内斯如何通过有条理地收集和分析与业务活动相关的信息,取得相对于竞争对手的优势。这被认为是首项关于企业将数据分析用于商业目的的研究。
1880年
美国人口普查局遇到了一个难题:该局估计,需要8年才能处理完1880年人口普查收集的所有数据;据预测,1890年人口普查产生的数据将需要10年以上才能处理完,这意味着等到它准备好供人查阅时,数据甚至已被1900年人口普查的结果所取代。1881年,该局聘用的一位年轻工程师—— 赫尔曼·霍列瑞斯 ——研制出后来被称为霍列瑞斯制表机的设备。借助穿孔卡片,他将10年的工作缩短到三个月,并因此在历史上留下了作为现代自动化计算之父的名字。他创立的公司后来以IBM之名闻名。
现代数据存储的早期发展
1926年
发明家尼古拉·特斯拉在接受《柯利尔》杂志采访时表示,当无线技术“得到完美应用时,整个地球将转变为一个巨大的大脑,事实上它本来就是如此;万物都是一个真实而有节律整体中的粒子……而我们借以实现这一切的仪器,与今天的电话相比将简单得令人惊讶。人们可以把一台装在背心口袋里。”
1928年
弗里茨·普夫洛伊默是一位德奥工程师,他发明了一种将信息以磁性方式存储在磁带上的方法。他所提出的原理至今仍在使用;绝大多数数字数据都以磁性方式存储在计算机硬盘上。
1944年
美国康涅狄格州卫斯理大学的图书管理员弗里蒙特·赖德发表了一篇题为 《学者与研究图书馆的未来》的论文。
在最早试图量化信息产出规模的研究中,他指出,为了存储正在产生的所有有价值的学术和大众作品,美国图书馆每16年就必须将容量翻一番。因此他推测,到2040年,耶鲁大学图书馆将藏有2亿本书,书架总长达6,000英里。
商业智能的开端
1958年
IBM研究员汉斯·彼得·卢恩将商业智能定义为“理解所呈现事实之间相互关系的能力,从而引导行动朝着预期目标迈进”。
1962年
语音识别迈出了第一步:IBM工程师威廉·C·德施在1962年世界博览会上展示了Shoebox机器。它能够将英语口述的数字和16个单词识别并转换为数字信息。
1964年
《新政治家》的一篇文章提到了管理日益增多、不断涌现的信息所面临的困难。
大型数据中心的起步
1965年
美国政府计划建立 世界上第一个数据中心 ,以在磁带上存储7.42亿份纳税申报表和1.75亿套指纹记录。
1970年
IBM数学家埃德加·F·科德提出了他的“关系数据库”框架。如今,许多现代数据服务都采用这一模型框架,以层级格式存储信息;任何知道自己要找什么的人都可以访问这些信息。在此之前,要从计算机内存中访问数据通常需要专家协助。
1976年
物料需求计划(MRP)系统在商界的应用日益普遍,成为计算机首次在主流商业领域用于加快日常流程、提高效率的实例之一。直到此时,多数人可能只在研发或学术环境中见过这类系统。
1989年
这或许是“大数据”一词(未大写)以如今这种含义首次出现。国际畅销书作家埃里克·拉尔森为《哈珀斯》杂志撰文,推测自己收到的垃圾邮件从何而来。他写道:“大数据的掌管者说,他们这样做是为了消费者的利益。但数据往往会被用于最初预期之外的目的。”
此外,“商业智能”——这一概念自50年代末以来已颇受欢迎——随着用于分析商业和运营绩效的新兴软件与系统问世,也再度升温。
互联网的兴起
1991年
计算机科学家蒂姆·伯纳斯-李宣布了后来成为我们今天所熟知的互联网的诞生。在 Usenet群组alt.hypertext上的一篇帖子中 ,他提出了全球互联数据网络的规范,任何人都可以从任何地方访问。
1996年
根据R·J·莫里斯和B·J·特鲁斯科夫斯基在2003年出版的著作 《存储系统的演变》,这一年是数字存储的成本效益开始超过纸质存储的节点。
1997年
迈克尔·莱斯克发表论文 《世界上有多少信息?》他推测,世界上存在12,000拍字节的信息,“或许是一个并不离谱的估计”。他还指出,即便在互联网发展如此早期的阶段,其规模也在以每年10倍的速度增长。他指出,其中许多数据将永远无人查阅,因此无法带来任何洞见。
谷歌搜索也在这一年问世;此后至少20年里,它的名字将成为“在互联网上搜索数据”的代名词。
大数据早期理念
1999年
几年后,“大数据”一词出现在计算机协会发表的论文 《实时可视化探索千兆字节数据集》中。文中再次感叹,人们倾向于存储大量数据,却没有办法对其进行充分分析。论文还引用了计算先驱理查德·W·汉明的话:“计算的目的在于洞见,而非数字。”
这也可能是“物联网”一词首次出现,用于描述联网设备日益增多,以及这些设备彼此通信的潜力——而且往往不需要人类充当“中间人”。RFID先驱凯文·阿什顿以此为题,向宝洁公司作了一场演讲。
2000年
在 《有多少信息?》 中,彼得·莱曼和哈尔·瓦里安(现任谷歌首席经济学家)首次试图量化全球数字信息的总量及其增长速度。他们得出结论:“全球每年产生的印刷、胶片、光学和磁性内容总量,大约需要15亿吉字节的存储空间。这相当于地球上每一位男性、女性和儿童人均250兆字节。”
2001年
在其论文 《3D数据管理:控制数据量、速度与多样性》中,Gartner分析师道格·莱尼提出了后来普遍认可的大数据三项特征中的三项。
这一年,“软件即服务”一词也首次出现;这一概念是如今许多已成为行业标准的云端应用的基础。该词见于软件与信息产业协会的文章《战略背景报告:软件即服务》。
Web 2.0推动数据量增长
2005年
评论人士宣布,我们正见证“Web 2.0”的诞生——这是一种由用户生成内容的网络,大多数内容将由服务用户提供,而非服务提供商自身。其实现方式是将传统的HTML式网页与基于SQL构建的庞大后端数据库整合起来。Facebook于前一年推出,如今已有550万人使用,上传并与朋友分享自己的数据。
这一年,Hadoop也应运而生。这一开源框架专为存储和分析大数据集而创建。它具有灵活性,尤其适合管理我们日益生成和收集的非结构化数据(语音、视频、原始文本等)。
“大数据”一词如今的用法兴起
2007年
《连线》通过其文章 《理论终结:数据洪流使科学模型过时》
2008年
据 《有多少信息?2010年报告》称,全球服务器处理了9.57泽字节(9.57万亿吉字节)信息——相当于每人每天12吉字节的信息)。在 《信息的国际生产与传播》中,估计这一年产生了14.7艾字节的新信息。
2009年
麦肯锡全球研究院的报告 《大数据:创新、竞争 与生产力的新前沿》
2010年
谷歌执行董事长埃里克·施密特在一次会议上表示,如今每两天创造的数据量,就相当于从人类文明起始到2003年所创造数据的总量。
2011年
麦肯锡报告称,到2018年,美国将面临短缺14万至19万名专业数据科学家的局面;报告还指出,隐私、安全和知识产权等问题必须先得到解决,大数据的全部价值才能实现。
2014年
移动设备的崛起 ——人类首次出现使用移动设备访问数字数据的人数超过使用办公或家用电脑的人数的情况。GE与埃森哲合作开展的一项调查显示,88%的企业高管报告称,大数据分析是其企业的首要任务。
最后的思考
这告诉我们,大数据并非新兴或孤立的现象,而是数据采集和使用长期演进的一部分。与数据存储、数据处理和互联网领域的其他关键发展一样,大数据只是又向前迈出的一步,它将改变我们经营企业和社会的方式。同时,它也将奠定基础,供许多后续演进在其上发展。
本文由 LinkedIn合作发布。发布本文并不意味着世界经济论坛认同其中观点。
如需紧跟议程, 订阅我们的每周通讯。
作者:伯纳德·马尔
图片:这张照片合成图拍摄于悉尼,画面展示了互联网局域网电缆。路透社/蒂姆·温博恩。



