用于自动化决策的预测软件常常歧视弱势群体。与条件相似的白人申请人相比，放贷机构拒绝黑人申请人的可能性高出80%。
耶鲁大学管理学院的Soheil Ghili及其同事提出了一种新方法，可以在仍然提供准确结果的同时显著减少偏见。
这一新算法可避免潜在歧视，同时确保在性别或种族上有所不同但其他方面完全相同的两名申请人得到相同的对待。
无论是审核贷款申请人，还是评估罪犯再次犯罪的可能性，组织越来越依赖算法辅助决策。然而，这些看似“客观”的软件程序中潜藏着偏见。一项近期调查由The Markup发现，与条件相似的白人申请人相比，放贷机构拒绝黑人申请人的可能性高出80%，这一差距很大程度上归因于常用的抵押贷款审批算法。
看似最直接的解决办法似乎是指示算法忽略种族，即从计算中彻底剔除该因素。但这一策略可能引入一种更隐蔽的偏见，称为“潜在歧视”。例如，黑人可能更集中居住在某些地理区域。因此，软件会将贷款偿还的可能性与地理位置联系起来，实质上是将该因素用作种族的代理变量。
耶鲁大学管理学院Soheil Ghili教授表示，算法可能吸收更广泛社会中的偏见，然后将其强化。“你所拥有的模型隐含地表明，‘那些对该群体实施歧视的人是正确的’。”
在一项新研究中，耶鲁大学管理学院营销学助理教授Soheil Ghili及其同事提出了另一种解决方案。在他们提出的系统中，在软件被“训练”以识别旧数据中的模式时，会纳入性别或种族等敏感特征。但在评估新案例时，这些属性会被屏蔽。Ghili表示，这种方法“将在不过度降低准确性的前提下，大幅减少歧视”。
随着算法被用于越来越多的重要决策，Ghili表示，必须解决算法中的偏见问题。如果一种累犯预测算法预测某一种族的人更可能再次犯罪，但真实原因是这些人即使无辜也更常被逮捕，那么“你所拥有的模型隐含地表明，‘那些对该群体实施歧视的人是正确的’”，Ghili说。
他表示，如果算法的输出导致弱势群体被剥夺资源，这一不公平的过程就会形成一个“恶性循环”。这些人“将变得更加边缘化”。
机器学习算法的预测过程分为两个阶段。首先，算法获得训练数据，从而“学习”各属性与特定结果之间的关联。例如，预测累犯的软件可能会基于包含罪犯人口统计信息和犯罪史的数据进行训练。其次，算法获得新案例的信息，并根据与以往案例的相似性预测将会发生的结果。
由于从训练数据中删除敏感信息可能导致潜在歧视，研究人员需要寻找其他方法来减少偏见。一种可能性是提高弱势群体的评分，同时尽力使预测准确性最大化。
然而，在这种情况下，除种族或性别外其他方面完全相同的两名申请人可能获得不同的评分。Ghili表示，这类结果“通常可能引发反弹”。
Ghili与耶鲁大学电气工程与计算机科学副教授Amin Karbasi，以及现任职于谷歌的Ehsan Kazemi合作，寻找另一种解决方案。研究人员提出了一种他们称为“先训练后屏蔽”的算法。
在训练阶段，软件会获得过往案例的全部信息，包括敏感特征。这一步骤可确保算法不会错误地赋予与敏感特征可能存在代理关系的无关因素（如地理位置）过高的重要性。在贷款示例中，软件会将种族识别为影响贷款偿还的重要因素。
但在第二阶段，敏感特征将被隐藏。所有新案例在这些特征上都会被赋予相同的值。例如，出于预测目的，每位贷款申请人都可被视为白人男性。这将迫使算法在比较个体时超越种族（以及种族的代理变量）。
“需要明确的是，‘先训练后屏蔽’绝不是唯一一种利用对性别或种族等敏感特征的‘察觉’而非‘无察觉’来应对算法偏见问题的方法，”Ghili表示，“但与大多数已提出的方法不同，“先训练后屏蔽”在帮助弱势群体的同时，还确保在所有其他非敏感特征上完全相同的个体得到同等对待。”
研究人员使用三项任务测试了其算法：预测个人的收入状况、信贷申请人是否会按时还款，以及罪犯是否会再次犯罪。他们基于真实世界数据训练软件，并将输出结果与其他算法的结果进行了比较。
“先训练后屏蔽”方法的准确性几乎与“无约束”算法相当，即未经修改以减少不公平性的算法。例如，无约束软件正确预测收入状况的比例为82.5%，而“先训练后屏蔽”算法在该任务上的准确率为82.3%。
这一方法的另一个优势在于，它可避免Ghili所称的“双重不公平”。设想一种存在多数群体与少数群体的情况。假设在完全公平的情况下，少数群体在某些指标上会表现得优于多数群体，例如因为他们往往受教育程度更高。然而，由于歧视，少数群体的表现与多数群体相同。
现在设想一种算法基于人口统计特征预测人们的表现。如果软件设计者试图通过简单地最小化各群体之间输出的平均差异来消除偏见，这种方法将会惩罚少数群体。正确的输出应当使少数群体的平均评分高于多数群体，而非相同。
Ghili表示，“先训练后屏蔽”算法并未明确地将群体之间的输出差异最小化。因此，这种“双重不公平”问题不会出现。
一些组织可能会优先考虑使各群体的平均评分尽可能接近。在这种情况下，“先训练后屏蔽”算法可能并非正确的选择。
Ghili表示，他的团队的策略未必适用于所有任务，这取决于组织认为哪种类型的偏见最需要加以应对。但与其他一些方法不同，这一新算法可避免潜在歧视，同时确保在性别或种族上有所不同但其他方面完全相同的两名申请人得到相同的对待。
“如果你希望同时实现这两点，那么我认为这正适合你，”Ghili说。
