随机存取存储器(RAM)是计算机存放其正在处理的数据的地方。处理器从RAM中获取数据的速度,比从计算机硬盘驱动器中获取数据快数万倍。
但在大数据时代,数据集往往大到无法装入单台计算机的RAM中。描述单个人类基因组的数据,需要占用大约40至100台普通计算机的RAM。
闪存是大多数便携设备所采用的存储器类型,它可以为大数据应用提供传统RAM的替代方案。其价格约为传统RAM的十分之一,耗电量也约为其十分之一。
问题在于,闪存的速度也只有传统RAM的十分之一。不过,麻省理工学院的研究人员在六月举办的国际计算机体系结构研讨会上提出了一种新系统:对于几种常见的大数据应用,该系统应能使采用闪存的服务器与采用传统RAM的服务器效率相当,同时保留其在能耗和成本方面的优势。
研究人员还提供了实验证据表明:如果执行分布式计算的服务器即使只有5%的时间需要从磁盘获取数据,其性能无论如何都会下降到与闪存相当的水平。
换言之,即便没有研究人员提出的加速从闪存检索数据的新技术,拥有10太字节(TB)RAM的40台服务器处理10.5太字节计算任务的表现,也不会优于拥有20太字节闪存的20台服务器;而后者的耗电量仅为前者的一小部分。
“这不是对DRAM[动态RAM]或类似技术的替代,”麻省理工学院约翰逊计算机科学与工程教授Arvind说道,他的团队完成了这项新工作。“但可能有许多应用能够利用这种新型架构的优势。这一点各公司也都认识到了:大家都在尝试闪存的各个方面。我们只是想在设计空间中再确立一个点。”
与Arvind共同署名这篇新论文的,还有麻省理工学院计算机科学与工程专业的研究生Sang Woo Jun和Ming Liu,两人为共同第一作者;他们的同学Shuotao Xu;Arvind团队的博士后研究员Sungjin Lee;以及Myron King和Jamey Hicks,两人均曾 与Arvind一起 攻读博士学位,并在该系统研发时担任广达电脑(Quanta Computer)的研究员;此外,还有他们在广达的同事John Ankcorn,他同样是麻省理工学院的校友。
外包计算
研究人员通过将少量计算能力从服务器转移到控制闪存驱动器的芯片上,使基于闪存的服务器网络得以与基于RAM的服务器网络相抗衡。这些芯片在将数据传回服务器之前,先对闪存驱动器上的部分数据进行预处理,从而大幅提高分布式计算的效率。由于预处理算法被固化在芯片中,因此无需承担运行操作系统、维护文件系统等相关的计算开销。
在部分赞助商(广达、三星和赛灵思)提供硬件的支持下,研究人员搭建了一个由20台服务器组成的原型网络。每台服务器都连接到一块现场可编程门阵列(FPGA)上,这是一种可重新编程、用以模拟不同类型电路的芯片。每块FPGA又连接到两块半太字节(即500吉字节)的闪存芯片,以及服务器机架中与其最近的两块FPGA。
由于FPGA之间相互连接,它们构成了一个速度极快的网络,使任一服务器都能从任一闪存驱动器中检索数据。它们还负责控制闪存驱动器,这绝非易事:现代商用闪存驱动器所配备的控制器,可能拥有多达八个不同的处理器和1吉字节的工作内存。
最后,FPGA还负责执行对闪存驱动器所存数据进行预处理的算法。研究人员测试了三种此类算法,分别针对三种流行的大数据应用。其一是图像搜索,即在庞大的数据库中为样本图像寻找匹配项。另一种是谷歌PageRank算法的实现,该算法用于评估符合相同搜索条件的不同网页的重要性。第三种是名为Memcached的应用程序,大型数据库驱动型网站用其存储频繁访问的信息。
变色龙集群
FPGA的速度约为采用硬连线电路的专用芯片的十分之一,但其执行相同计算的速度远快于使用软件运行的中央处理器。通常情况下,FPGA要么用于原型设计,要么用于销量过小、不足以支撑专用芯片高昂制造成本的细分产品。
但麻省理工学院与广达研究人员的设计,为FPGA提出了一种新用途:大量应用都能从研究人员所设计的此类加速器中受益。并且,由于FPGA可重新编程,可根据应用需求加载不同的加速器。这可能催生出分布式处理系统,在能源和成本上实现大幅节约,同时几乎不损失灵活性。
“许多大数据应用需要实时或快速响应,”首尔国立大学计算机科学与工程系教授Jihong Kim说道。“对于此类应用而言,“BlueDBM”——即麻省理工学院与广达研究人员开发的系统——是一个颇具吸引力的解决方案。”
相较于其他一些旨在简化大数据分析的方案,Kim表示:“BlueDBM的主要优势或许在于,它能够轻松扩展为规模大得多的存储系统,并支持专用加速功能。”
本文系与 麻省理工学院合作发布。刊发本文并不代表世界经济论坛认同文中观点。
如需紧跟议程, 请订阅我们的每周简报。
作者:Larry Hardesty,系《麻省理工学院新闻》特约撰稿人。
图片:图中可见电线。REUTERS。
