医疗保健算法存在隐藏偏见：建立公平数据系统的经验教训

在这个数据驱动的决策日益影响世界的时代，确保这些系统的公平和公正从未如此重要。人工智能模型和其他数据系统的训练，有时会导致最新数据系统的输出中存在历史偏见。

世界经济论坛全球未来理事会关于数据公平的一份报告提出了一个定义和实施数据公平的新框架，以应对新技术延续旧偏见的风险。

对美国医疗保健系统中使用的算法的分析就是这种偏见的一个令人震惊的例子。研究显示，该算法系统性地使需要复杂护理的黑人患者处于不利地位。

其根本原因在于用于训练算法的数据，它反映了这样一个事实：由于收入不平等和其他医疗保健障碍，黑人患者历来接受的治疗费用较低。

研究得出的结论是，纠正这种偏见可以将黑人患者接受额外护理的比例从17.7%提高到46.5%。这一案例凸显了严格的算法审核和跨部门合作的迫切需要，以消除决策过程中的此类偏见。

目前，全球尚无公认的数据公平标准或定义。为了进一步解决偏见问题，世界经济论坛的全球数据公平未来委员会制定了一个全面的定义：

“数据公平可以定义为尊重和促进人权、机会和尊严的公平数据实践的共同责任。数据公平是一项基本责任，需要采取战略性、参与性、包容性和主动性的集体协调行动，以创造一个基于数据的系统促进所有个人、团体和社区获得公平、公正和有益结果的世界。它认识到数据实践——包括收集、整理、处理、保留、分析、管理和负责任地应用由此得出的见解——对人权以及由此产生的社会、经济、自然和文化资源和机会的获取有重大影响。”

这个定义强调了一个关键点：数据公平不仅仅关乎数字。它关乎这些数字如何影响人们的真实生活。它涵盖了数据的整个旅程，从数据的收集和处理方式到数据的使用方式以及谁从其洞察中受益。

实现数据公平需要采取结构化方法。全球未来理事会制定的数据公平框架提供了反思、研究和行动的工具。它建立在三大支柱之上：数据、人员和目的。

该框架的三大核心支柱具体如下：

如果我们回到上面有问题的医疗保健数据的例子，我们可以看到这些原则如何应用。全球未来委员会的报告提出了以下初步建议，以消除偏见。

算法审计以改善医疗保健服务。

图片来源：世界经济论坛

建立更公平的数据系统并非一劳永逸——这是一个持续的过程，需要监控、协作以及在每一步中持续、坚定地致力于公平。我们从解决医疗保健算法中的种族偏见中吸取的教训可以且应该指导我们如何在其他领域实现数据公平。

本文作者：

JoAnn Stonier，万事达卡数据和人工智能研究员

Lauren Woodman，DataKind首席执行官 ​

Karla Yee Amezaga，世界经济论坛数据政策负责人

本文原载于世界经济论坛Agenda博客，转载请注明来源并附上本文链接。

编辑：王灿