大数据是二十一世纪最重要的商业和政府发展之一，但关键的安全与隐私问题阻碍了其按应有速度发展。大规模云基础设施、数据源格式和媒介、跨云高容量迁移以及动态流数据采集，都加剧了隐私和安全方面的担忧。大数据的四个 V——Volume（规模）、Velocity（速度）、Variety（多样性）和 Veracity（真实性）——进一步加重了这些问题。
大数据规模
据估计，到 2020 年将产生 43 万亿 GB 的新数据，比 2005 年的数据量增加 300%。随着可随时获取的数据量不断扩大，区分敏感信息与公开信息变得愈发重要。美国企业平均在本地和云端存储 100,000 GB 数据。当这些数据存储成为窃贼和罪犯的目标时，就会带来巨大的安全风险。
大数据速度
在一个典型交易时段内，纽约证券交易所会采集 1,000 GB 数据。大数据面临的一项重大挑战，是在快速实时分析数据的同时，仍维持高度安全和私密的环境。安全系统需要加密和其他保护措施，而这些措施必然会减慢数据处理速度。当数据以闪电般的速度穿过服务器时，管理数据的任务就愈发困难。
大数据多样性
医疗保健数据是现有数据类型中最注重隐私和安全的一类。估计 2011 年医疗保健数据超过 1610 亿 GB，而这还只是一种数据类型。Facebook 每月分享 300 亿条内容。视频、图像、文本通信、音频和微数据都需要采用不同的处理方式，才能筛选、管理和分类关键信息。管理这些数据所需的技术仍处于发展阶段，数据科学家也全职投入相关工作，以管理、解读和传播这些数据。
大数据真实性
数据准确性是大数据面临的另一项担忧。面对海量待筛选的数据，建立能够自动区分高质量、及时数据与过时、低质量数据的过滤机制十分重要。获取准确数据是一门大生意，每年给美国经济造成 3.1 万亿美元的成本。数据不准确时，企业、政府和组织就无法制定准确的数据。随着美国政府着手追踪深网中的恐怖分子，无法筛选大数据已经可能导致生命损失。
大数据面临的主要挑战
云安全联盟（CSA）对大数据面临的挑战进行了评估，并汇编了当前十大挑战清单。其中一项主要关切，是如何在高度安全的分布式编程框架中执行大规模计算。安全性与速度通常难以兼得，因此，打造能够处理海量数据的高效服务器是首要关切。
大数据由大量非关系型数据构成。简单来说，关系型数据采用严格要求来查找高度结构化、组织有序的数据。大多数大数据都是非关系型的，因此通常组织程度较低。若存储的数据日后需要用于完全不同的目的，非关系型数据并不要求软件程序员重新设计整个系统。这对于有效利用大数据至关重要。或许听起来有些奇怪，但过度组织化的数据反而不利于有效处理大数据。处理大数据的一项挑战，是为保障非关系型数据存储安全制定最佳实践。
第三个问题是，如何保护可能实时生成的数据存储和交易日志。由于数据和交易日志通常存储在多层介质中，企业和组织必须能够保护这些数据免遭未经授权的访问，同时继续让数据可供使用。采用基于策略的加密，有助于确保经过验证和身份认证的用户及应用程序能够访问数据。
大数据生态系统的挑战
云安全 需要针对大数据管理的各个主要方面开展不同类型的培训。这四个主要方面分别是基础设施安全、数据隐私、数据管理，以及完整性与响应式安全。每个方面都需要采用不同的方法。
基础设施安全必须依靠将数据拆分成片段并在微观层面进行分析。随后，需要引入相应能力，通过数据清洗和去标识化防止敏感数据泄露。
除了数据本身，接触生态系统的员工和所有相关人员都必须经过充分培训、值得信赖且具备资质。这会进一步增加前期成本，而企业本已面临难以确定投资回报率、难以证明成本合理性的挑战。企业不得不猎寻顶尖人才，或提供不同的 高质量培训。两种做法都很昂贵。
从历史上看，数据隐私一直侧重于保护管理数据的系统，而不是数据本身。鉴于这些系统已被证明存在漏洞，有必要采取新方法，在基于云的环境中封装数据。还必须创建新算法，以改善密钥管理和安全密钥交换。
数据管理关注安全的数据存储、安全交易日志、精细化审计和数据溯源。这一方面必须着眼于验证数据并确定其可信度。可利用细粒度访问控制和端到端数据保护来验证数据，并增强数据管理的安全性。
完整性与响应式安全关注端点验证与过滤，以及实时安全监控。必须彻底审查每个端点，以确保不会提交恶意数据。使用可信平台模块（Trusted Platform Module）芯片，以及基于主机和移动设备的安全控制措施，可以降低与不可信端点相关的一些风险。
结论
云环境让大数据处理变得更轻松、更高效，也降低了企业涉足这一领域的门槛。数据集成和云服务使诸如 BI 与 Hadoop 之类的工具能够良好协作，但必须认识到其中仍存在重大安全风险。CSA 工作组的研究和发现可供企业、组织和政府利用，以更便捷地分析其基础设施和应用程序的现状，并创建更安全的环境，更好地防范未经授权的访问。
本文与 The Smart Data Collective合作发表。发表本文并不意味着世界经济论坛认同其中的观点。
如需了解议程最新动态， 请订阅我们的每周简报。
作者：Jared Jaureguy 是一名科技撰稿人。
图片：这张照片插图展示了互联网局域网线缆。路透社/Tim Wimborne。
