加州输水渠建于20世纪50年代, 加州输水渠 是一项工程奇迹,将水从北加州的山脉输送到缺水的沿海社区。然而,面对可能持续的干旱,加州输水渠的运行能力低于满负荷,因为水源来水不足。就大数据而言,您的组织很可能恰恰相反——数据过多,满溢河岸并造成混乱。而且情况只会越来越糟。
加州输水渠堪称美景。正如《大西洋月刊》的一篇 文章所述:
“一张由河流、支流和运河组成的网络,将内华达山脉积雪融水输送到圣华金三角洲南端的大型水泵。”随后,这些水力泵通过一条长达四十四英里的输水渠将水送往加州各城市。这条输水渠横贯全州,并将水注入各地的水库。
您的组织中很可能也有类似大数据输水渠的东西。例如,源系统以各种格式启动数据,这些数据可能经过某种提炼流程,最终转为关系型格式。多余的数字废气可能被保存在现场或远程位置的压缩存储中。这是一个持续不断的过程,数据在整个组织内不断被摄取、存储、移动、处理、监控和分析。
但面对大数据,涌向您的数据实在 太多了 。作者詹姆斯·格雷克 这样描述 :“人类产生和消费的信息过去会消失——那是常态,是默认情形。景象、声音、歌曲和口语都会消散无踪。如今,人们的预期已经颠倒。一切都可能被记录和保存,至少在潜在意义上如此:每一场音乐演出;每一起发生在商店、电梯或城市街道上的犯罪;每一座火山或每一次发生在最偏远海岸的海啸。”简言之,凡是能够记录的东西都可能被记录下来,并很可能存放在世界某处的服务器上。
因此,促成我们走到今天的IT架构,若不在能力和协调性方面进行重大升级,就无法应对即将到来的巨大数据洪流。
IT架构本质上可以看作俯瞰视角,或是各种结构和组件及其协同运作方式的蓝图。在此语境下,我们关注的是:业务、信息、应用和系统的整体蓝图如今是什么样子,以及为了满足未来业务需求,它需要变成什么样子。
我们需要重新思考应对大数据的架构方法。诚然,有些公司——或许占10%——永远不需要利用多结构数据类型。它们可能永远不必涉足或实施开源技术。向这类公司建议某种“大数据”架构,反而适得其反。
然而,另外90%的公司正在觉醒并意识到,当今的IT架构和基础设施无法满足未来需求。这些公司迫切需要评估当前状况和未来业务需求,然后设计一种架构,使其能够从所有数据类型中获得洞见,而不仅仅是那些能整齐地纳入关系型行和/或列的数据。
在可预见的未来,大数据冲击将持续下去,而且只会随着 数据呈指数级增长而愈演愈烈。但挑战在于:人类思维往往是线性的——我们根本不知道如何为这种指数级数据增长做规划,更不用说从中获益。因此,大多数公司的业务、信息、应用和系统基础设施都没有做好准备,既无法应对即将到来的大数据洪流,更谈不上加以利用。
想做好准备吗?重要的是重新 审视 现有的IT架构,并确保数据管理、数据处理、开发工具、集成和分析系统都达到应有水平。无论您未来有何计划,都应考虑加倍投入。
在出现令人信服的相反证据之前,若不制定周密计划来应对前方大数据过量带来的风雨,风险实在太高。
本文由 SmartData Collective合作发布。本文的发布并不意味着世界经济论坛认同其中的观点。
关注论坛:Agenda, 订阅我们的每周通讯。
作者:保罗·巴施负责Teradata云、托管和管理服务的营销项目;Teradata是数据仓储与分析领域的领先企业。
图片:2012年1月24日,在华沙一处服务器机房内拍摄的互联网电缆示意图。路透社。
