“该程序与种族完全无关……只是多变量方程而已。”
这是布雷特·戈德斯坦（Brett Goldstein）的看法。他曾是芝加哥警察局（CPD）的一名警官，现任芝加哥大学公共政策学院城市科学研究员， 他在谈到 其于2010年在芝加哥警察局部署的 预测性警务算法 时如此表示。该算法依据人们此前的被捕地点，告诉警察应到何处寻找罪犯。它生成的是一张芝加哥“热力图”，芝加哥警察局称该算法有助于更有效地调配资源。
芝加哥警方近期还与伊利诺伊理工学院电气工程教授迈尔斯·温尼克（Miles Wernick）合作，通过算法生成了一份“重点关注名单”，收录400名据称具有最高暴力犯罪几率的人员。面对批评，温尼克表示，该算法并未使用“任何种族、社区或其他类似信息”，并称该方法“无偏见”且“具有量化性”。通过将决策交由理解不足的算法，业内专业人士实际上回避了其代码可能带来的任何负面影响的问责。
但这些算法是否存在歧视，是否对低收入社区和黑人社区及其居民造成不公平对待？随着越来越多的行业使用算法做决策，许多研究人员开始提出这一问题。算法本身确实是量化的，它归结为一系列用于解决问题的算术步骤。风险在于，这些算法以人类产生的数据为训练基础，可能会反映这些数据中的偏见，从而延续结构性种族主义以及对少数群体的负面偏见。
要判断算法是否蕴含偏见，存在诸多挑战。首先，许多从业者和“计算机专家”至今仍不愿公开承认，算法很容易产生歧视。越来越多的 研究和 分析 证据 支持 这一观点：此类情况不仅可能发生，而且已经在发生。法律对带有偏见的算法是否违法尚不明确，即便是算法研究人员，也并未完全弄清算法歧视的确切含义。
量化并不能防止偏见
戈德斯坦和温尼克都以两点来证明其算法是公平的。第一，算法并未明确将种族或社区等受保护特征作为属性输入。第二，他们称算法不存在偏见，因为它们是“量化的”。他们的论证诉诸抽象。数学并非人类，因此使用数学不可能是不道德的。
遗憾的是，在将数据挖掘和数学一般方法应用于社会问题时，戈德斯坦和温尼克正在重复一个普遍误解。数据挖掘的全部目的在于发现隐藏的相关性。因此，如果种族在输入数据挖掘算法的数据中被不成比例地（尽管并非明确地）体现，算法就能推断出种族，并间接利用种族做出最终决策。
下面是一个简单例子，说明算法如何根据其从使用者身上学到的内容，导致有偏见的结果。请看谷歌搜索在以短语“transgenders are”开头的查询中，如何建议补全内容：
截图取自Google.com，日期为2015-08-10。
自动补全功能通常是一种统计计数。统计你见过的所有搜索，并显示给定部分查询最常见的补全内容。虽然大多数算法表面上可能是中立的，但它们被设计为从所输入数据中发现趋势。若不加审慎地信任算法，主流趋势就可能导致有害的歧视，至少也会产生令人反感的结果。
除有偏见的数据（如谷歌自动补全）之外，还存在其他隐患。谷歌研究员莫里茨·哈特（Moritz Hardt）描述了他所称的 样本量差异。其思路如下：如果你想预测，例如，某个人是否会点击某则广告，大多数算法会根据用户以往的活动，优化以降低误差。
但如果一小部分用户属于某个行为方式与多数群体不同的种族少数群体，算法可能会判定，对所有少数群体用户 宁可判错 ，并将他们全部归入“误差”类别，以便在多数群体上更准确。因此，在美国参与者上准确率达85%的算法，可能会对整个黑人子群体判断失误，却仍显得非常出色。
哈特进一步表示，很难确定数据点为何被错误分类。算法很少附带解释其行为原因的说明，而最简单（也最危险）的做法就是不去追问。
问题的严重程度
尽管研究人员清楚地理解算法歧视的理论危害，但要在实践中准确衡量该问题的范围并不容易。出于对被贴上种族主义或性别歧视标签的担忧，或更糟的是担心自家优秀算法被竞争对手窃取，没有任何企业或公共机构愿意公开其数据和算法。
即便芝加哥警察局曾 遭到一项依据《信息自由法》提出的申请，该局也未公开其算法或重点关注名单，理由是此举会对警察和名单上的人员构成可信威胁。这使研究人员难以发现问题，也难以提出可能的解决方案。
法律障碍
美国现行的反歧视法并无助益。充其量，它对于如何适用于算法并不明确；最糟的情况下，它一团乱麻。普林斯顿大学博士后研究员所罗门·巴罗卡斯（Solon Barocas）与美国第三巡回上诉法院法律书记员安德鲁·塞尔布斯特（Andrew Selbst） 共同撰文论证 ，美国雇佣法未能处理有关招聘中存在歧视性算法的主张。
该论点的核心被称为“业务必要性”抗辩，即雇主辩称，某项具有歧视性效果的做法，因与工作绩效直接相关而具有正当性。巴罗卡斯和塞尔布斯特认为，若一家公司以算法决定招聘对象，而该算法公然带有种族歧视，但在预测工作绩效方面即便只是轻微有效，这也将被视为业务必要性，而非非法歧视。换言之，法律似乎 支持使用有偏见的算法。
什么 是 公平？
或许更深层的问题在于，关于算法究竟应如何才算公平，人们至今尚未达成一致。算法是数学对象，而数学远比法律精确。若不能以数学方式精确证明公平性，我们就无法指望设计出公平的算法。一个良好的公平数学定义，应当能够刻画任何场景、任何子群体中的有偏决策，而不仅限于招聘偏见或性别偏见。
而且，公平性在面向群体与面向个体时，似乎存在两个相互冲突的方面。例如，假设有一批申请人争夺10个职位，某算法决定完全随机地录用候选人。从群体层面看，这是最公平的：所有种族、性别和性取向被选中的可能性均等。
但从个体层面看，这又是最不公平的，因为即便是才能极为出众的个体，也不太可能被选中。另一方面，仅依据资历录用，则会固化招聘中的差距。没有人知道这两种概念是否本质上相互矛盾，抑或是否存在一种能够合理兼顾两者的公平定义。微软研究院杰出科学家辛西娅·德沃克（Cynthia Dwork）及其同事 一直在研究 两者之间的关系，但即便是德沃克也承认，他们才刚刚 触及皮毛。
让企业与研究人员达成共识
在算法公平性问题的各个方面，都存在巨大差距。在今年的机器学习公平性、问责制与透明度研讨会上，当一个专家小组被问及有哪些“唾手可得的成果”时，他们 难以 找到答案。我的看法是，若想以最少的工作量取得最大进展，企业就应开始与研究人员共享数据。即便 已提出的“公平”算法 开始出现在文献中，我们若缺乏充分理解的基准，也无法对其进行公正评估。
本文与 The Conversation合作发表。发表本文并不代表世界经济论坛认同其中观点。
欲及时了解Agenda的最新动态， 请订阅我们的每周通讯。
作者：杰里米·孔（Jeremy Kun）是伊利诺伊大学芝加哥分校数学专业博士生。
图片：柏林Konrad-Zuse Centre（康拉德·楚泽应用数学与计算机科学中心）超级计算机背面的线缆。路透社/Thomas Peter
