人工智能在我们最重要的社会机构中，正日益成为高风险决策的核心。它已进入医院、法院和就业服务机构，决定谁能获得保险，谁能获得假释，以及谁能被录用。在许多情况下，使用人工智能旨在克服人类决策中固有的错误和偏见，从而提高效率和效能；然而，算法偏见——即算法承袭其创建者或输入数据中的偏见——可能会加剧歧视，而非消除歧视。
我们必须认识到，算法并不中立。它们反映了计算中固有的数据和假设。如果向算法输入带有偏见的数据，或优先考虑反映现有社会偏见的因素，就会产生歧视性结果。算法通过优先考虑某些因素来运作——从观察到的变量和潜在变量中识别统计规律，继而给出“如果这样，那么就那样”的结论。算法假定某些因素适合用于预测结果，并且历史趋势会重演，因此可能表现出自我强化的偏见。对于在数据和计算中被过度代表、代表不足或被错误呈现的人群，代表他们作出的决定可能会延续不平等。
人们担心计算机会变得过于聪明并接管世界，但真正的问题是，它们太愚蠢了，而且已经接管了世界。
未定义
——佩德罗·多明戈斯，《主算法》
为了说明这一点，我们来看看预测性警务模型和健康保险风险预测。预测性警务模型利用包括日期、时间和地点在内的历史犯罪记录，生成预测的犯罪热点。少数族裔和低收入社区比富裕的白人社区更可能受到警方监控，因此，预测性警务所依赖的历史犯罪数据会呈现有偏差的图景，显示巡逻力度更大的社区犯罪率更高。因此，预测性警务可能加剧种族偏见，延续对少数族裔和低收入社区的监控。
在健康保险方面，保险公司如今可以预测个人未来的健康风险，方法是结合数千种非传统的“第三方”数据来源，例如购物记录和邻居的健康状况。尽管利用这些数据可能有助于保险公司准确预测风险，但这也意味着高风险人群可能被收取无力承担的保费，甚至完全无法获得保险。对于生活在长期面临系统性健康挑战的社区中的人们，这些预测模型可能会加剧健康差距。
随着人工智能越来越多地用于作出影响社会、政治和经济权利的重大决策，我们必须确保这些系统的构建和应用方式能够维护公平、问责和透明原则。有两种方法可以更好地确保人工智能贯彻这些原则，从而不仅提高决策效率，也让决策更加公平。
运用“社会系统分析”
总的来说，偏见会通过纳入带有价值倾向的数据和优先考虑主观因素而进入算法。不完整、未标准化或使用有缺陷的测量工具收集的数据集，可能无法真实反映现实。如果数据所反映的流程本身体现了长期存在的社会不平等，这些数据很可能会延续这种不平等。
例如，若使用来自某个行业的数据集训练算法，而该行业过去倾向于招聘和提拔白人男性，算法可能会系统性地优先选择这类候选人。通过“社会系统分析”方法分析数据和假设——开发者质疑人工智能系统训练数据中系统性社会不平等的影响，并加以纠正——便可能更早发现并纠正偏见，降低人工智能固化歧视的风险。这也引出了下一项建议：更多元化的团队将更有能力识别偏见。
在每个阶段纳入多元性
人工智能流程的每个阶段都应纳入多元性，从设计和部署，到质疑其对决策的影响。研究表明，无论团队的累积智商如何，成员更多元的团队解决问题的效率都更高。在人工智能辅助决策的设计、应用和影响评估中明确关注包容性，不仅可以最大限度地减少无意造成的歧视性影响，还能让人工智能的设计和应用成为推动社会、经济和政治包容性提升的力量。
人工智能正处于发展的关键转折点。它的开发和应用可以为气候变化、粮食不安全、医疗保健和教育等全球挑战带来前所未有的益处。但其应用必须得到审慎管理，确保它推动数字经济和社会更加公平，而不是更加歧视。
