医疗保健算法存在隐藏偏见：建立公平数据系统的经验教训
从解决医疗保健算法中的种族偏见中吸取的教训，可以且应该指导其他领域实现数据公平。 Image: Unsplash/Hush Naidoo Jade
- 医疗保健领域的历史算法偏见揭示了数据公平的迫切需求。
- 一项研究发现，纠正医疗保健中的种族偏见可以将接受额外护理的黑人患者的比例从17.7%提高到46.5%。
- 现在，世界经济论坛全球未来数据公平委员会提出的新框架旨在指导各行业建立更公平的数据系统。
在这个数据驱动的决策日益影响世界的时代，确保这些系统的公平和公正从未如此重要。人工智能模型和其他数据系统的训练，有时会导致最新数据系统的输出中存在历史偏见。
世界经济论坛全球未来理事会关于数据公平的一份报告提出了一个定义和实施数据公平的新框架，以应对新技术延续旧偏见的风险。
医疗保健算法中的隐藏偏见
对美国医疗保健系统中使用的算法的分析就是这种偏见的一个令人震惊的例子。研究显示，该算法系统性地使需要复杂护理的黑人患者处于不利地位。
其根本原因在于用于训练算法的数据，它反映了这样一个事实：由于收入不平等和其他医疗保健障碍，黑人患者历来接受的治疗费用较低。
研究得出的结论是，纠正这种偏见可以将黑人患者接受额外护理的比例从17.7%提高到46.5%。这一案例凸显了严格的算法审核和跨部门合作的迫切需要，以消除决策过程中的此类偏见。
定义数据公平：共同责任
目前，全球尚无公认的数据公平标准或定义。为了进一步解决偏见问题，世界经济论坛的全球数据公平未来委员会制定了一个全面的定义：
“数据公平可以定义为尊重和促进人权、机会和尊严的公平数据实践的共同责任。数据公平是一项基本责任，需要采取战略性、参与性、包容性和主动性的集体协调行动，以创造一个基于数据的系统促进所有个人、团体和社区获得公平、公正和有益结果的世界。它认识到数据实践——包括收集、整理、处理、保留、分析、管理和负责任地应用由此得出的见解——对人权以及由此产生的社会、经济、自然和文化资源和机会的获取有重大影响。”
这个定义强调了一个关键点：数据公平不仅仅关乎数字。它关乎这些数字如何影响人们的真实生活。它涵盖了数据的整个旅程，从数据的收集和处理方式到数据的使用方式以及谁从其洞察中受益。
实施框架
实现数据公平需要采取结构化方法。全球未来理事会制定的数据公平框架提供了反思、研究和行动的工具。它建立在三大支柱之上：数据、人员和目的。
该框架的三大核心支柱具体如下：
- 数据的性质：这一支柱关注的是信息的敏感程度以及谁可以访问这些信息。例如，健康记录非常敏感，需要严格保护。
- 数据使用的目的：这一支柱旨在考虑可信度、价值、原创性和应用等因素。数据的使用是否合乎道德？它是否为社会提供了真正的价值。
- 涉及的人员：这涉及数据收集者、处理者和主体之间的关系以及数据处理的责任。它还考虑了处理数据的人员的专业知识，以及至关重要的是，谁对数据的使用负责。
将理论付诸实践
如果我们回到上面有问题的医疗保健数据的例子，我们可以看到这些原则如何应用。全球未来委员会的报告提出了以下初步建议，以消除偏见。
- 输入阶段：收集更全面的健康数据，包括健康状况的直接测量和医疗保健障碍。审核输入变量是否存在潜在的代理歧视。
- 流程阶段：保持数据收集和算法评分流程的透明度。
- 输出阶段：定期审核算法决策对不同种族群体患者结果的影响。使临床医生能够标记可能存在偏见或不正确的预测。
算法审计以改善医疗保健服务。
图片来源：世界经济论坛
前进的道路
建立更公平的数据系统并非一劳永逸——这是一个持续的过程，需要监控、协作以及在每一步中持续、坚定地致力于公平。我们从解决医疗保健算法中的种族偏见中吸取的教训可以且应该指导我们如何在其他领域实现数据公平。
本文作者：
JoAnn Stonier，万事达卡数据和人工智能研究员
Lauren Woodman，DataKind首席执行官
Karla Yee Amezaga，世界经济论坛数据政策负责人
本文原载于世界经济论坛Agenda博客，转载请注明来源并附上本文链接。
编辑：王灿
不要错过关于此主题的更新
创建一个免费账户，在您的个性化内容合集中查看我们的最新出版物和分析。
许可和重新发布
世界经济论坛的文章可依照知识共享 署名-非商业性-非衍生品 4.0 国际公共许可协议 , 并根据我们的使用条款重新发布。
世界经济论坛是一个独立且中立的平台，以上内容仅代表作者个人观点。
