机器学习和人工智能可以显著改善健康状况；然而，它们仍需要人为输入，而这些输入可能引入无意识偏见和系统性偏见。
为确保公平并减轻潜在偏见，企业应考量证据基础的局限、数据集和算法的局限，以及对边缘化群体可能造成的影响。
所有企业都应投资于在各个层面增进对数据科学的理解，以遏制算法偏见。
机器学习和人工智能日益融入日常生活。这些新兴技术能够改进流程并提高准确性。尽管如此，它们也可能将人类设计者的无意识偏见嵌入其中，并使用由不公平系统生成的数据，从而加剧现有的不平等。
机器学习是将信息输入计算机、使其运用算法识别模式的过程。识别出的模式称为模型，它们以系统化方式描述信息，从而能够对初始数据之外的世界作出预测。如果产品是人工智能，计算机便可以根据初始模型执行任务，并在过程中持续学习。
例如，如果目标是了解人们的购买偏好，将购买历史数据提供给计算机，就能让它通过分组算法识别相似购买行为中的模式。计算机可以建立偏好模型，并最终在个人下次搜索商品时向其推荐类似商品。
即便在这个过度简化的例子中，也能看出算法偏见的两个来源：原始数据和算法，二者都由人类创建。那么，哪些因素会影响技术的公平程度或偏见程度？
限制健康技术中算法偏见的3项考量
1. 证据基础的局限
限制技术偏见的第一步，是了解自身所处的环境。算法往往包含源自研究和文献的假设。人们通常会想当然地认为科学是确凿、客观且没有偏见的；然而，科学是一个过程。要建立坚实的证据基础，需要不同研究人员针对能够代表总体的各类群体开展多项研究，并在一段时间内得出相似结果。遗憾的是，历史上多样性、公平和公正并未得到优先重视，因此，有限的证据基础确实无法普遍适用于所有人。因此，在运用任何假设之前，必须批判性地评估现有文献是否全面、公平且适用。
例如，药物临床试验主要招募成年白人男性；然而，试验结果却被推广至整个人群。基于这些结果建立的算法往往无法准确代表所有代表性不足的群体，并可能导致技术在无意中产生偏见。
2. 数据集和算法的局限
第二步应考量以下两方面的局限：1）计算机将据以学习的数据；2）所使用的算法。虽然这些问题看起来细致复杂，似乎是留给数据科学家的，但相关决策对结果的影响极大；因此，业务部门至少需要了解所采用的方法，并能够在考虑其局限的前提下传达结果。
例如，信用评分是通过模型确定的，这些模型试图捕捉财务风险行为和不良习惯。然而，历史上边缘化群体常被提供掠夺性金融产品，导致债务不断累积，而这一情况随后反映在数据中。这只是众多例子之一：模型会放大数据中的系统性偏见，持续使某些群体处于不利地位、使另一些群体获益；尤其是通过一种使用频率极高、无处不在的评分系统。
了解背景和局限，并审慎解读结果，是重要的一步，应由业务部门和公司领导共同参与。
3. 新技术对边缘化群体的影响
技术和算法偏见造成的负面影响或许并非有意为之；然而，解决健康不平等问题必须是有意为之。因此，在第三步，研发和业务部门必须具备多样性、跨学科性，并纳入相关领域专家和社区利益相关方，以便结合背景解读结果，并批判性地思考可能产生的结果。此外，技术投入使用一段时间后，评估上市后真实世界证据也至关重要；对于相关结果，组织必须保持透明并承担责任。
例如，医疗决策中存在基于种族的算法。理想情况下，这些算法会缩小差距，但历史上情况并非如此。比如，有些模型会估算肾脏滤过率，以判断患者是否需要专门治疗或符合移植资格。过去，这类模型会预测黑人患者的滤过率较高（也就是说，他们看起来病情较轻）。
遗憾的是，由此产生的政策导致黑人患者的病情进展速度加快，转诊接受移植的时间也有所延误。一项研究估计，如果仍在使用这些模型，约有68,000名黑人成年人不会被转诊至专科护理（人口估算依据Diao等人的论文和美国社区调查ACSDT5Y2020数据集计算得出）。与此同时，另有16,000人将不符合移植等待名单的资格。考虑到黑人群体的终末期肾病发病率是白人群体的三倍，这一结果尤其令人担忧。
在这些临床实践实施后，本可以更早采取措施，避免不公平的医疗照护进一步恶化，但这并非核心问题。关键在于，算法的应用及其潜在影响既未得到充分考量，也未结合肾衰竭的流行病学和不平等状况进行分析。
超越算法偏见
随着数据科学成为广泛使用的工具，组织应确保相关技术不会只是将现有的算法偏见自动化。通过落实这三项关键考量、组建多学科团队，并在技术投入使用后继续承担责任，组织可以帮助减轻算法偏见，防止现有不平等加剧，并助力营造更加公平的环境。
最重要的是，数据科学在各行各业无处不在的趋势将持续下去。因此，为了最大限度地发挥其作用，推动变革性成果并避免初期失误，所有企业都应投资于在各个层面增进对数据科学的理解。
