人工智能（AI）在就业市场和招聘中的作用迅速扩大，算法招聘系统大量涌现。
一项调查发现，美国55%的人力资源负责人在招聘中使用预测算法。
虽然一些AI系统为减少系统性偏见提供了机会，但另一些系统则产生了新的歧视形式。
算法审计被提议作为确保这些标准的一种途径。
布鲁金斯学会的Alex Engler解释了它们的运作方式。
算法招聘系统正在大量涌现。虽然一些系统为减少系统性偏见提供了机会，但另一些系统则产生了新的歧视形式。总体而言，算法的使用可以使就业流程更加公平，但若缺乏有意义的标准，这一点无法得到保证。算法审计被提议作为确保这些标准的一种途径，并且早期的算法招聘系统审计案例已向公众发布。对这些审计及相关激励机制的考察表明，算法审计本身无法产生问责。本文提出了界定何为算法审计的具体标准的步骤，以及通过监管监督来落实这些标准的路径。
引言
人工智能（AI）在就业市场和招聘中的作用一直在迅速扩大——一项行业调查发现，美国55%的人力资源负责人在招聘中使用预测算法。目前几乎每个招聘环节都有算法工具可用。求职者可以通过LinkedIn、Monster和Indeed等招聘平台找到职位，招聘人员也可以通过这些平台找到候选人。许多公司使用算法系统分析简历，另有一些公司（如JobScan和VMock）则利用算法改进简历，使其更易被其他算法识别。其他公司（如Pymetrics和PredictiveHire）则创建专门的问卷和评估，作为AI预测工作表现的输入。企业可能使用AI将录音陈述转录为文本，再通过自然语言处理分析这些文本回答。部分供应商（如HireVue和TalView）已经在这些面试中使用了面部分析——这项任务远远超出了人工智能的能力范围。除这些供应商之外，大型公司也自行开发内部算法工具以辅助招聘。即便是在职员工监控（其通常利用数据部分决定员工留任、薪资和晋升），也可被视为这一算法筛选漏斗的一部分。
这些算法工具的共同特点是，利用关于候选人的数据来推断其在工作中的可能表现，通常采用一个被称为有监督机器学习的AI子领域。企业构建或采购这些工具，是为了缩短招聘的时间和成本，并可能改善职场多样性和新员工绩效。据一项全面审查（关于算法就业中的歧视问题，由Upturn完成）。对个体求职者而言，其影响并不那么明显，那些不符合算法预期的人可能被排除在外。此外，算法在整个招聘流程中的泛滥程度前所未有，引发了人们对这些系统如何影响劳动经济的担忧，尤其是在系统性歧视方面。
研究表明，算法招聘流程中存在多种引入偏见的途径。预测工作场所成功指标（如绩效评估或薪资）的机器学习模型，可能将良好评分归因于能力，而实际上这些评分部分是由与技能无关的环境因素造成的，例如历史上的工作场所偏见。
“[T]算法在整个招聘流程中的泛滥程度前所未有，引发了人们对这些系统如何影响劳动经济的担忧，尤其是在系统性歧视方面。”
用于分析自然语言的模型（如用于简历或面试转录文本的模型）已显示出对女性和残障人士存在偏见。语音识别模型已显示出对非裔美国人存在明显偏见，并在方言和地区性语言变体的语音中存在潜在问题。商用AI面部分析基本属于伪科学，并且在肤色方面显示出明显差异，对残障人士的影响令人高度担忧。发布招聘信息的算法可能无意中导致对从事STEM工作的年轻女性和同样对年长候选人存在年龄歧视产生有偏见的结果。许多已记录的算法偏见案例尤其令人担忧，鉴于上文详述的一系列算法评估，个别算法中的微小偏见很容易累积为更大的结构性问题。
正如一篇颇具影响力的论文所示，该研究在其他完全相同的简历中互换了白人常见名字与非裔美国人常见名字，结果表明，人类在招聘中也存在显著偏见。2017年，一项元分析涵盖28项研究，发现“过去25年中针对非裔美国人的招聘歧视水平没有变化”，而针对拉丁裔的歧视则略有下降。遗憾的是，一项对心理学研究的全面元分析表明，要减轻人类决策中的内隐偏见非常困难。研究还表明，多元化与包容性干预措施并未改善结果，例如针对科技行业女性的结果。其他目前使用的候选人评估工具，如认知能力测试，也可能表现出显著的种族偏见，从而导致差异化影响。几十年来，包括智商测试在内的认知能力测试在招聘过程中发挥了广泛作用，尽管有大量证据表明其存在偏见，而关于其有效性的证据相对薄弱。因此，必须考虑到，算法工具出现之前的招聘流程同样存在系统性偏见，不一定更为可取。
总体而言，在某些情况下，并在谨慎实施的前提下，降低在决策过程中的偏见发生率。在技术层面，可以通过在语言模型内部调整，或通过改变被预测的结果变量来减少偏见。另外，改变基于算法生成排名的使用方式，可以在原本有偏见的模型基础上实现公平结果。具体到招聘领域，算法还被用于辅助消除就业流程中特定方面的偏见，例如在申请材料中帮助隐藏种族、性别和人口统计信息，并改写职位描述以吸引更多元化的候选人。
2019年的论文“算法时代的歧视”从整体上最全面地论证了算法的价值，并正确地得出结论：算法比人类决策更加透明，因此“具有潜力，在打击歧视方面取得重要进展”。现有证据支持这一结论，但仍需要在实际应用场景中进行更多评估。例如，由于算法的专有性质，目前尚未对就业算法的实际效果进行系统性分析。尽管如此，当前存在严重缺陷的现状，以及算法方法减少偏见的潜在能力，仍值得我们思考什么样的社会技术系统与激励机制能带来最佳结果。
必须考虑市场激励与政府监管如何影响算法开发，因为最佳实践并非必然会自行普及。在缺乏监管或诉讼威胁的情况下，有充分理由怀疑这些就业模型在公平性方面通常是否足够严谨。其中最突出的原因是，全面的公平性方法成本更高。让高技能的数据科学家和工程师投入精力构建稳健、公平的算法流程，而非开发新功能或向客户交付模型，耗时很长。此外，在部署这些模型之前，收集更多元化、更具代表性的数据用于开发，也会增加成本。这些系统的运行规模同样令人担忧：这些就业算法累计影响数千万人。这意味着歧视性结果很容易伤害数千甚至数百万人。采购这些算法系统以招聘员工的客户公司，往往可能真诚地希望通过算法招聘系统促进多元化。然而，由于所有供应商都宣称“无偏见模型”，很难在非歧视方面区分这些系统的供应商。算法审计是验证这些非歧视主张的一种有前景的方式。
就业领域的算法审计
人们越来越关注算法审计的作用，以回应对算法系统偏见的担忧。在算法审计中，独立第三方可评估算法系统是否存在偏见，同时也评估其准确性、稳健性、可解释性、隐私特征以及其他非预期后果。审计将识别问题，并向开发者提出改进或替代方案的建议。除改进系统外，如果审计结果公开，算法审计还有助于建立消费者和客户的信任。一个“小型产业”已围绕这一理念形成，其中包括专门从事算法审计的公司，如O’Neil Risk Consulting & Algorithmic Auditing（ORCAA）和Parity AI，以及专注于算法监测的其他公司，如Fiddler、Arthur和Weights & Biases。
虽然计算机安全和数据库隐私领域的审计历史悠久，但算法审计的概念相对较新，其定义仍然模糊，[1]尽管相关研究仍在进行。由于缺乏正式定义，算法审计范围内可以做出大量决策。算法系统供应商可能有许多不同的在用模型[2]，因此审计人员可以检查一个模型、同一类型的多个模型，或部分或全部模型类型的随机样本。审计人员可能直接访问公司的数据以进行自己的统计检验，也可能要求并采用被审计公司提供的统计数据。审计人员还可能直接检查算法模型本身，以考察其特征并测试新的用例。此外，审计人员可以使其结论完全公开、部分公开，或仅将结果提供给客户公司。
这些选择决定了审计的效果是私下自省、有意义的公共问责，还是为公关而作的表演。该领域的近期案例展示了一些可能的结果。
HireVue与ORCAA签约，对其某项评估进行了高度有限的审计，并就其他建模实践提出建议。该ORCAA审计仅审查了HireVue关于其一项求职者评估的文档。根据这些文档，OCRAA审计认定该评估达到了非歧视的法律标准。ORCAA审计的其余部分是与HireVue员工及外部利益相关方的讨论，以识别改进HireVue工具的潜在方式。该审计并未独立分析HireVue的数据，也未直接评估其模型，而是讨论了改进其方法的途径。正如审计报告所指出的，该审计不具有代表性，也未评估最可能出现偏见结果的模型类型。此外，HireVue歪曲了该审计（在新闻稿中），并将该审计置于保密协议之下。尽管该审计可能有助于HireVue考虑改进其流程的方式，但HireVue仅允许非常有限的公众透明度或问责。
一项近期审计由Pymetrics与东北大学的独立研究人员共同完成，内容要全面得多：它分析了Pymetrics提供的文档、数据和源代码。审计人员在未告知Pymetrics检查内容的情况下，检查了七个不同的模型，其中一些是从近期客户中随机选取的。审计使用了参加过Pymetrics评估的员工和候选人的代表性数据，还生成了合成数据以对建模代码进行压力测试。审计确实证实，建模过程达到了非歧视的法律标准，但并未披露最终模型的具体偏见统计数据。尽管专有源代码、数据和文档仍受保密协议约束，但审计人员保留了公开报告该审计的权利，该审计正以论文形式发表于一个领先的伦理AI会议上。审计人员充分考虑了独立性问题，包括在审计结果出来之前即获得以拨款形式提供的资金。尽管该审计确实承认存在重要局限，但它实现了一定程度的有意义的公共透明度。
论坛如何帮助政府负责任地采用AI技术？
分析深度和由此产生的透明度差异值得注意，在Pymetrics与东北大学研究人员的案例中，这两方面都显著更好。不过，这两项审计都有一些益处：HireVue的审计所带来的透明度略高于完全私下的自省，并可能促成算法流程中的其他改变。作为对比，可以看看亚马逊的案例：亚马逊发现其简历分析工具对女性求职者存在偏见，最终关停了该系统。亚马逊并未公开此事，直到数年之后才被发现，由路透社的一名调查记者发现。除透明度之外，如果缺乏内部专业知识，这些早期的算法审计还表明，规模较小的供应商可以如何评估和改进其算法服务。
算法审计的激励机制
算法审计不会自动防止就业中使用有偏见的算法。虽然审计这一理念与问责相关联，但审计本身并不会自动产生问责。当算法招聘开发者与算法审计机构签约时，该审计机构是在为客户提供服务，而审计机构往往在经济上依赖这一服务。这种经济依赖可能从根本上削弱审计的公共价值。尽管审计公司可能关注其公众声誉或坚持高专业标准，但推销其服务的需要将是最重要的因素，并最终决定哪些审计机构能够生存、哪些会失败。虽然ORCAA和东北大学的研究人员都因其审计工作获得了报酬，但值得注意的是，更全面的审计是由拥有其他资金来源的学术研究人员完成的，而较不全面的审计则是由与审计存在直接经济依赖关系的公司完成的。这促使我们思考，哪些激励措施会促使公司选择并促成全面的审计，以及哪些激励措施会促使审计人员开展稳健且严格的审计。
“虽然审计这一理念与问责相关联，但审计本身并不会自动产生问责。”
在这一问题上，金融会计中可以汲取重要经验，其中三种潜在机制与算法审计的相关性尤为突出。这些机制包括：政府监管以核实审计结果、市场激励机制促使审计严格且彻底，以及专业规范要求个体审计人员达到高标准。遗憾的是，这些机制在算法审计中大多缺失，但可以仿照金融会计的方式加以建立。
首先，考虑市场激励。如果金融审计公司的客户持续发布干净的资产负债表，直到破产那一刻，审计机构将失去关键的信任。例如，可以看看安永会计师事务所因未能发现20亿美元的涉嫌欺诈（源自其客户Wirecard）而遭受的声誉损害。安永目前所受的此类批评是好事，这意味着其他金融审计公司将引以为戒，避免类似错误。审计公司不仅核实面向公众的财务报表，还核查防止欺诈的内部控制和流程。这意味着股东和负责任的高管有充分理由聘请有效的审计机构，金融审计师也会积极竞争，力求在审计质量评估中表现出色。然而，算法审计中并无对应机制，因为算法危害往往是个体化的，且难以识别。公司不会因为其算法存在歧视而倒闭，即便歧视证据公开出现，也不清楚其是否会承担相应比例的后果。
专业标准和行为准则同样用于确保专业审计服务的严谨性。在金融会计领域，一个私营部门组织（财务会计准则委员会）执行一套共同原则，即公认审计准则（GAAS），其详细规定了独立机构应如何审计财务会计工作。关键在于，GAAS限制了审计过程中可做的选择数量。虽然仍存在一定灵活性和操纵空间，但这些标准能够促成对审计是否彻底进行更为一致的评估。在算法会计领域同样缺乏对应指引，这在一定程度上解释了HireVue审计与Pymetrics审计在深度上的巨大差异。事实上，若建立一套明确的标准，HireVue的分析甚至可能不符合审计的资格，而应被界定为案例研究或审查。
政府在金融会计监督中以两种关键方式发挥作用。首先，会计师负有法律责任，如果其明知故犯地参与金融欺诈，或因疏忽而促成金融欺诈，将与实施欺诈的公司一样承担责任。偏离GAAS标准最佳实践的审计人员，若因允许欺诈而被客户或其投资者和债权人起诉，在证明自身行为审慎且诚信方面将面临更大困难。再次强调，算法会计领域并未确立民事责任：如果一家公司经审计机构认定不存在歧视影响，但随后因其算法中的歧视而被成功起诉，除非合同中明确约定，否则审计机构不会分担该责任。这种情形也不太可能发生，因为在诉讼中证明算法歧视可能非常困难，原告通常需要获取大量求职者的广泛招聘数据，而不仅仅是其自身案件的数据。
“除民事责任外，政府的直接监督也可以成为确保审计诚实可靠的机制。”
除民事责任外，政府的直接监督也可以成为确保审计诚实可靠的机制。在金融领域，一家名为上市公司会计监督委员会（PCAOB）的非营利机构承担这一职能。然而在实践中，PCAOB并未广泛行使其监督权力，其对市场的影响尚不明确。税务会计更清楚地说明了政府监督的作用：如果某税务会计师的客户经常被美国国税局（IRS）罚款，潜在客户就会知道转而他处。然而，算法审计中同样没有与IRS审计或PCAOB监督明确对应的机制。[3]
遗憾的是，由于算法招聘系统不存在这些制约机制，将非法或不道德的行为嵌入算法之中，实际上可以使其逃避审查。不过，显然可以做出改变以改善这一状况。制定具体而稳健的算法审计定义，然后建立政府监管和民事责任作为执行机制，都将大大改善现状。
界定算法审计
明确算法审计中就业系统偏见审查应包含的内容，可以促进未来更严格的审计，并为已完成的审计提供比较基准。当然，这项任务无法在一篇分析性论文中完成。它需要社区共同努力，汇集各领域专家的贡献，并获得该领域企业的支持，例如通过专业标准组织来推动。此外，许多考量将取决于具体的建模应用及其部署方式。不过，有一些重要标准通常是适用的。这些标准可作为制定此类标准的起点，并有助于评估在正式标准出台之前开展的自愿性审计的质量。
审计流程考量
审计人员的独立性：算法审计应有意识地构建合同条款，以确保审计师结果的独立性。审计师在公开报告和传播审计结果方面应保持完全独立，仅可在事先约定的、与专有信息相关的特定且狭窄的例外情况下作出例外。审计师不应向被审计公司披露调查过程的细节。此外，审计费用应在审计结果交付之前支付，且审计师与该公司不应存在任何其他财务关系。[4]
代表性分析：算法审计不必审查算法就业服务供应商每位客户所部署的每一个模型，但需要审查足够数量的模型，以确保正在实施的是公平的流程。这可以简单地采用对所有模型进行随机抽样的方式，但也可能需要采用分层随机抽样方法。在分层随机抽样中，审计师可以对不同类型的模型（例如基于游戏的模型与基于开放式问题的模型）或不同职位类别（例如销售人员模型与客户服务代表模型）分别进行随机抽样。
数据、代码和模型访问权限：算法审计必须能够不受限制地访问数据、代码和经过训练的模型的某种组合，以便直接评估这些系统。这意味着，受监管的公司需要保留已部署的模型版本及相关数据，以供未来审计使用。在大多数情况下，具有代表性的数据和源代码样本便已足够，因为它们可用于训练模型；但检查已部署的模型则是一种更为全面的方法。值得注意的是，专有数据、代码和模型无需公开，因为公开会带来隐私风险，并对被审计公司造成不当的竞争劣势。
考虑对抗性行为：审计师通常不应假定被审计公司出于善意。在可能的范围内，审计师应检查所提供的数据、代码和模型是否存在被篡改的可能，并考虑采用其他途径核实所提供的信息。
建模依赖关系与文档
数据收集流程：算法审计应主动考虑数据收集和清理流程，尤其要关注任何观测值的剔除、异常值的顶部编码、分类变量的合并，或缺失数据的插补，以及它们对模型训练和结果可能产生的影响。
训练数据的代表性：在可获得人口统计数据的范围内，应评估用于训练机器学习模型的数据集是否具有代表性。例如，在某些就业算法中，不仅要求训练数据中的求职者多元化，还需要包含大量来自不同子群体的成功录用案例，这一点十分重要。
依赖关系分析：算法审计应考虑被审计公司的算法系统所依赖的软件包和代码库所产生的影响，并就此进行报告。用于算法招聘系统或为其所调整的预训练机器学习模型，尤其是用于面部分析、语音分析、语音转录、语言翻译和自然语言处理的模型，应仔细考量其下游影响。
文档审查：算法审计应审查模型文档，并确保文档准确传达模型的功能。以下两种情形尤为关键：（1）客户公司接收模型或模型输出的任何情况，因为客户对模型输出的解读至关重要，其本身便可能导致有偏差的结果；（2）广告宣传及其他公开报告中的相关声明，例如模型卡或数据营养标签。
模型审查
候选人排名：算法审计应全面审查算法系统生成的求职者排名及相关评分。这些评分是最重要的结果指标，因为它们通常决定哪些人能够进入招聘流程的下一阶段。因此，审计师必须评估算法流程如何为新求职者生成排名，并考察不同子群体之间的入选率和相关统计指标，其中部分指标可通过开源工具获得，例如Audit-AI 软件包。审计师不应仅满足于衡量系统是否符合法律标准（例如“入选率存在实质性差异”），而应报告能够代表所测试模型的具体统计数据。
历史数据上的表现：算法审计还应考虑经过训练的模型在开发该模型所用数据上的表现。这不同于仅考察候选人排名，因为模型评分可以与历史数据中实际录用的人员进行比较。审计应报告相关的公平性指标，并可参考Aequitas和AI Fairness 360等工具。例如，机会均等指标可能具有高度相关性——这些统计指标衡量模型是否对不同子群体中成功录用的员工给出了公平的评分。尽管某些模型可能无法做到完全公平，但仍有必要报告这些结果，以便对不同算法系统进行比较。
子群体考量：算法审计应检查表示子群体的变量是否具有相关性，尤其是受保护特征。审计应检查子群体是否作为输入项被纳入模型，或其他所纳入的变量是否充当这些子群体的代理变量。此外，审计应在法律要求的范围之外审查子群体，并在可能的情况下考虑交叉性（例如性别与种族的交叠）以及亚种族群体（例如将中东人群与白人区分开来）。
假设性数据：审计师可以生成合成数据，对模型构建过程进行压力测试。该过程可用于检验自动化或人工介入的监督机制能否发现存在问题的训练模型。此外，它还有助于考察那些落在模型训练数据分布之外的个体可能遭遇的情况，这一点对残障人士可能尤为适用。
问题定义：算法审计应仔细考虑所选择的结果变量及其可能导致的偏差。许多表明员工成功的指标，可能在一定程度上受到工作场所文化中根深蒂固的优待性待遇的影响。例如，销售人员的总销售额可能更多地取决于其所获得的销售线索质量，而非其作为员工的素质。在这种情况下，模型的结果变量与所关注的素质不一致，这往往会导致有偏差的结果，审计师可能会建议采用替代指标。
频率：算法审计应考虑模型如何随时间更新，以及这对模型漂移意味着什么，尤其是性能退化的可能性。这一考量应使审计人员就建模审计的执行频率提出建议。
这些标准旨在作为更广泛讨论的起点。它们未必适用于所有情形，也未必完全充分，还需要进一步的讨论和投入。正如其他分析所指出的，超越技术实施、转向对利益相关方需求的更广泛评估，也可能是算法审计的一项重要作用，尽管这一点不太可能通过法律强制执行。此外，偏差并非就业算法唯一需要关注的问题，审计还可考虑如何使模型对求职者更加透明，或如何确保其对敏感数据的保护更加安全。
对联邦治理的启示
制定正式且稳健的算法审计标准是重要的一步，但仍须得到政府监督的支持。在美国，平等就业机会委员会（EEOC）应考虑执行此类算法审计所需的具体措施。据悉，这项工作已于2016年底启动，但尚不清楚其是否在特朗普政府期间得以延续（尽管其他相关工作已经）。劳工部联邦合同合规办公室也可以执行新规则，确保联邦政府仅与能够提供有力证据证明结果无偏差的算法招聘公司签订合同。
“制定正式且稳健的算法审计标准是重要的一步，但仍须得到政府监督的支持。”
正如我此前所主张的，拜登政府应切实应对这些挑战。对于EEOC而言，这包括探究该机构在回应就业歧视指控时，获取企业数据的权限所存在的局限。事实上，10名参议员近期致函EEOC，具体询问其调查开发和部署就业算法的公司的能力。这是一个关键问题，因为若政府无法获取这些算法系统所用的数据，就几乎无法开展严谨的分析。相关机构可能还需要新的技术专业能力，因此令人鼓舞的是，EEOC已公开招聘两名数据科学家，作为一项重要举措的一部分，以改进联邦招聘流程。
除了建设开展算法审计的能力外，EEOC还需要重新审视现行政策，并起草新的指导意见，以适应算法系统的大量涌现。这包括重新审视EEOC的《员工选拔统一指南》中关于预测效度的理念。正如Manish Raghaven和Solon Barocas所主张的，《统一指南》目前使算法开发者能够通过证明其工具具有预测性来为自身辩护，以抗辩具有歧视性影响的指控，即便该工具同样具有歧视性。这是一个不合理的标准，因为这些系统通常采用监督式机器学习，从定义上讲便具有预测性。这一条款需要修改，否则几乎无法进行有效监督。此外，EEOC应明确表示，在对算法招聘系统进行审计时，将考察比各子群体间入选率差异更为广泛的指标，而入选率差异长期以来一直被用作判断歧视性影响的经验法则。此外，还有必要考虑要求受监管公司存储数据、代码和模型，以便对其进行审计。EEOC还应考虑以其他方式更好地发挥民事责任的作用，以此作为执行算法公平使用的机制。
政府介入这一领域的目标，并非使劳动力市场达到完美运行，而是切实提高算法员工评估的质量底线。通过对企业实行统一且更高的标准，那些投入时间和资金部署公平算法的负责任企业将更有能力参与竞争，而不负责任的企业则将面临罚款和诉讼。仅靠算法审计可能不足以防止滥用，其他干预措施也值得考虑。例如，全面禁止在就业服务中使用面部情感分析技术，就值得考虑。此外，这些审计可能并不明确适用于Monster、LinkedIn和Indeed等在线求职平台。鉴于这些公司对劳动力市场的重要性，推动其向独立研究人员开放访问其数据，可能是一项有价值的举措。
如果政府能够建立有实质意义的监管机制，算法审计将产生更大的影响。这将促使人们更有动力投资于更公平的算法系统，而算法招聘领域或许能够改善当前人工或过时认知测评在候选人评审过程中普遍存在的偏差。若能实现这一点，EEOC甚至可以在该领域树立最佳实践典范，并敦促雇主转向基于算法且负责任的候选人遴选流程。借助这些变革，就业系统中算法的广泛应用将能发挥其潜力，并显著减少长期以来使诸多个人处于不利地位、损害更广泛劳动力市场的系统性偏差。
