在企业探索机遇（例如打造数据驱动型业务，以及更好地理解客户、产品和市场）时，使用非结构化且不完美的大数据可能完全合理。然而，利用质量低下、管理不善的数据做出影响重大的管理决策，无异于自寻麻烦。正如那句老生常谈的技术格言所说：垃圾进，垃圾出。
过去，数据只存在于核心系统中，由IT部门管理和保护。在这个小数据时代，要获得完美的数据很难，但企业可以接近这一目标。随着大数据的出现，数据质量发生了巨大变化。很大一部分数据以非结构化、“充满噪音”的自然语言形式出现，例如社交媒体动态；或者以来自传感器、智能手机、数据库和互联网的众多互不兼容的格式出现。只需少量努力，企业通常就能在噪音中找到有效信号。但与此同时，它们可能陷入糟糕大数据陷阱：误以为数据质量比实际情况更好。
糟糕数据的成因通常包括：流程存在缺陷、数据政策临时拼凑、采集和存储数据缺乏规范，以及企业无法控制的外部数据提供商。毋庸置疑，高管层必须将适当的数据治理列为优先事项。但仅靠这一点，无法让企业的数据质量状况真正理顺。企业必须采取系统性方法，即我们所说的“全面数据质量管理”。
糟糕大数据的影响
我们在与企业合作开展信息密集型项目时，经常发现矛盾、错误或不完整的数据。无论属于哪个行业，企业的数据定义往往不一致，或其数据字段描述（即元数据）已经丢失，从而降低了数据对业务分析师和数据科学家的实用价值。
使用质量低劣的数据会带来诸多连锁反应。有时，业务各部分之间的数据差异会让高管对数据的有效性和准确性失去信任，进而延误关键决策和业务举措。另一些时候，员工会想出代价高昂的变通办法来修正劣质数据。一家大型银行雇用了300名全职员工，每天修正财务记录。这项工作每年耗资5000万美元，并延长了结账所需的时间。在最糟糕的情况下，客户可能遭遇服务不佳，例如账单错误；企业也可能遭受供应链瓶颈，或出现产品和发货缺陷。随着错误数据在业务流程中层层传递，并在最高层级助长糟糕的决策，其影响会被进一步放大。（见图表1。）
尤其值得注意的是，企业常因使用质量低劣的大数据做出重大高管决策而白白错失机会。根据我们与35家企业合作的经验估算，在客户定位、减少坏账、交叉销售和定价等领域的决策中，使用质量低劣的大数据会使25%的潜在价值流失。我们的测算显示，如果这些企业拥有质量更高的数据，其营收和息税折旧摊销前利润本可高出10%。
一家全球金融机构开展了一个大数据试点项目，发现了一个它认为能够提升利润率的定价机会，每年可提升超过5000万美元，相当于营收的10%。但其底层数据仅包含发票明细项目，缺少该银行如何计算和收取费用的重要元数据。在修正数据质量问题并实施定价策略的三个月里，该公司损失了首年潜在利润的四分之一以上，至少相当于1500万美元。它还在抓住一个重要机遇时失去了灵活性。
在较为简单的时代，像这样的企业可以基于少数数据集做出决策，而这些数据集相对容易核查。如今，组织在模型中嵌入了数以千计的变量，要核查每个变量的准确性可能过于复杂。有些模型难以理解，以至于高管觉得自己只能盲目信任其逻辑和输入。
如何跳出陷阱
（参见“Seven Ways to Profit from Big Data as a Business”，BCG文章，2014年3月。）与其他根本性转变一样，必须改变的是思维模式，而不仅仅是技术。
然而，企业常常难以对数据质量问题排定优先次序，或认为必须一次性解决所有问题。相反，我们建议管理者遵循以下七个步骤，迈向全面数据质量管理——这是一种经过长期检验的方法，可将数据的具体新用途与其业务收益相权衡。
确定机遇。要发掘数据的新用途，可先问：“我们想回答哪些问题？”一种我们称为“跳出新框架思考”的系统性创造性方法，可通过质疑日常假设，帮助激发新想法。其他方法，例如审视数据来源、业务关键绩效指标以及“痛点”，也能提供丰富的灵感来源。（参见“Big Data and Beyond”系列文章，其中收录了多个行业中高影响力机遇的示例。）
在列出一系列潜在数据用途（例如判断哪些客户可能购买额外产品）之后，应通过权衡收益与可行性对这些用途进行排序。优先考虑那些可能对底线产生最大影响的机遇。务必使用多重标准评估收益，例如数据用途能创造的价值、可以开发的新产品或服务，或可以解决的监管问题。然后，从技术、组织以及数据管理可行性的角度考虑数据用途。同时还要审视该数据用途如何契合企业现有的项目组合。
明确所需的数据类型与质量。有效把握机遇可能需要多种类型的数据，例如内部数据和第三方数据，以及多种格式，例如结构化和非结构化数据。然而，在开始分析之前，最出色的数据科学家和业务经理会从一系列维度衡量所需数据的质量，包括以下维度：
有效性，即数据符合逻辑标准的程度
完整性，即做出决策、计算或推断所需的数据可获得的程度
一致性，即数据在任何时点的定义、业务规则、格式和取值保持相同的程度
准确性，即数据反映现实的程度
及时性，即数据反映最新可用信息的程度
每个维度应根据其带来的业务收益加权，如前一步所述。我们还建议企业采用多层级质量标准。例如，财务应用需要高质量数据；而对于捆绑销售和交叉销售应用，良好的数据可能已经足够。
明确改进目标。数据评估过程为提升数据质量提供了基线。对于每个数据源，应确定各数据质量维度的目标状态。
差距分析可以揭示每个数据源基线与目标状态之间的差异，并可为改进每个数据质量维度的行动计划提供依据。差距可以通过仪表板加以呈现和跟踪，该仪表板以颜色标示各主要数据质量维度的表现。（见图表2。）
构建商业论证。数据质量需要付出代价。要为提升业务数据质量提出论证，企业必须量化使用糟糕数据的直接和间接成本，以及使用优质数据可能带来的潜在收益。
例如，直接成本可包括：低效流程导致的额外人员编制支出、清理费用，以及第三方数据费用。间接成本则可能源于错误决策、对数据缺乏信任、错失机遇、项目执行灵活性下降，以及未能满足监管要求等。
优质数据的好处可能相当可观，对特定用途的优先级排序便足以说明这一点。例如，精准营销使企业能够触达“个体细分”，从而实现更好的定价和更有效的促销，显著改善利润率。数据越准确，报价就越能精准命中目标。例如，一家亚洲电信运营商通过对客户购买倾向进行大数据建模，开始推送有针对性的优惠。该做法已在18个月内将其高价值客户的流失率降低了80%。
在掌握成本与收益之后，管理层便可着手构建论证，说明为何要改变对业务真正重要的事物。只有这样，企业才能建立适当的控制机制、配备合适的人员并完善流程。
根除糟糕数据的成因。许多人认为，管理数据质量就是简单地从内部和外部来源中剔除糟糕数据。然而，人员、流程和技术同样会影响数据质量。这三者都可能导致糟糕数据不断累积。例如，我们曾见过一些企业花费大量时间和金钱清理白天产生的数据，而这些数据到了夜间又被覆盖。
某些类型的数据质量问题可以且必须从源头解决，包括与财务信息和运营指标相关的问题。要做到这一点，企业可能需要解决根本性的组织挑战，例如缺乏第一次就做对的激励机制。例如，呼叫中心坐席可能有动力快速录入客户信息，却未必会准确录入，从而导致代价高昂的账单错误。无论是管理层还是数据录入人员，都未能感受到BCG资深合伙人Yves Morieux所称的“未来的阴影”——在此情境下，即录入不准确的数据会对整体客户体验产生负面影响。企业还可以通过“零接触处理”等方法简化数据模型，并尽量减少与数据的人工交互。
并非所有数据质量问题（例如与外部数据相关的问题）都可能或经济地从源头解决。在这种情况下，企业可采用中间件，将“糟糕数据”有效转化为“可用数据”。例如，应付账款系统中的结构化数据通常缺乏足够细节，无法得知具体采购的是哪种商品。一张发票标注“计算机”，指的是台式机还是笔记本电脑？变通办法包括文本分析：读取发票文本、对采购进行分类，并将该转换过程固化为规则或模型。对于既定用途而言，该方法可能已经足够好，而且比重建整个企业软件数据结构的成本效益要高得多。
为数据指定业务负责人。数据必须有人负责，才能实现高质量。企业不能外包这一步骤。业务端需要有人负责数据、把握变革节奏，并获得高管层和董事会的支持，以解决复杂问题。
许多组织认为，只要设立一个新职位（例如数据质量官），问题便迎刃而解。数据质量官是衡量和监控数据质量状况的理想人选，但这并非全部所需工作，因此许多企业会设立业务数据负责人这一职位。担任该职务的人员确保数据保持高质量，并在整个组织中实现战略性使用。
除其他职责外，业务数据负责人还需对端到端信息模型的整体定义负责。信息模型包括主数据、交易数据标准以及非结构化内容的元数据。该负责人关注的是业务成果与收益，而非技术。数据的业务所有权需要处于足够高的层级，以便帮助对质量问题排定优先次序并争取各方认同，同时又要足够贴近细节，以推动切实有意义的变革。所需的转型有时对业务而言是相当根本性的。
数据负责人还必须确保数据质量保持透明。企业应将客户数据（例如姓名和地址）的所有质量维度目标设定为100%，并通过“虚拟数据集市”等系统让此类数据可供访问，该系统应与较低质量数据（例如声誉评分）的存储相互独立。
推广有效做法。数据质量项目在企业范围内推广时，常常会遇到问题。许多大数据项目在试点时精挑细选质量最好的数据。当需要将洞察应用于糟糕数据比例高得多的领域时，项目便陷入困境。
为避免“大而全项目”综合征，应从小处着手、衡量结果、建立对有效解决方案的信任，并快速迭代以改进行之有效的做法。但切勿忽视最终目标：借助值得信赖的高质量数据，产生可衡量的业务影响。
以一家希望成为实时企业、并借助高质量数据创造价值的国际消费品公司为例。转型开始前，该公司的数据治理水平极为有限。数据被锁定在分散于整个组织、相互竞争的IT系统和平台之中。公司的实时绩效监控能力有限，主要依赖静态驾驶舱和仪表板。它也没有全公司范围的高级分析团队。
为推行全面数据质量管理战略，该公司首席执行官设立了中央企业信息管理（EIM）组织，这是旨在打造值得信赖的数据的多年期战略的重要组成部分。公司目前正开始采用“一次触达”的主数据采集流程，将数据集中到单一的高质量、按需提供的数据源中。该计划的另一部分是借助实时驾驶舱提升速度和决策能力，该驾驶舱展示值得信赖的客户信息，数千名经理可通过一套标准化的前25项关键绩效指标访问。此外，公司正在启动一个高级分析试点项目，作为业务部门培育大数据能力的孵化器，并为进一步增长开辟路径。最后，公司正设立业务数据负责人一职，该负责人将负责治理、设计和改进公司的信息模型。
这项多年期转型将完全由效率提升所带来的资金自我筹集，例如：预计接触主数据的员工数量将减少50%，全职信息管理人员数量将下降20%至40%。
数据质量的当务之急
糟糕数据一直对企业有害。但随着大数据的兴起，企业面临放大潜在不准确和错误影响、并陷入糟糕大数据陷阱的风险。
精明的企业开始以端到端的方式对待数据质量。此类转型的成果可能真正可观。
本文与 BCG Perspectives合作发表。发表并不意味着世界经济论坛认同其中观点。
要紧跟议程， 订阅我们的每周通讯。
作者：David Opolon是BCG驻波士顿的Principal。Tamim Saleh是BCG驻伦敦的资深合伙人兼董事总经理。Erik Lenhard是BCG驻慕尼黑的Principal。Nic Gordon是BSG驻伦敦的Associate Director。
图片：插图显示二进制代码投射在一名手持笔记本电脑的男子身上。REUTERS
