现有的人类偏见往往被转移到人工智能之中。
以下列举五类偏见及应对方法。
试想一个公正平等的世界:无论年龄、性别或阶层如何,每个人都能获得优质医疗服务、营养食品和其他基本生活必需品。人工智能和数据科学等数据驱动技术能否实现这一目标?抑或现实世界中已在左右结果的偏见,最终也会蔓延至数字世界?
偏见意味着对个人或群体的不公正。现有的许多人类偏见可能被转移到机器之中,因为技术并非中立,其优劣取决于开发它的人。为说明偏见如何在全球企业组织中导致偏见、不公与不平等,我将重点介绍两个现实案例,其中人工智能中的偏见已被识别,伦理风险也得到了缓解。
2014年,亚马逊的一个软件工程师团队正在开发一款用于筛选求职者简历的程序。遗憾的是,2015年,他们发现该系统在技术岗位上歧视女性。由于这些歧视与公平性问题,亚马逊招聘人员并未使用该软件评估候选人。与此同时,2019年,旧金山立法者投票反对使用人脸识别技术,认为该技术用于深色皮肤人群或女性时容易出错。
美国国家标准与技术研究院(NIST)开展了一项研究,评估了来自约100家开发商、189家机构(包括东芝、英特尔和微软)的人脸识别算法。谈及这些令人担忧的结论,作者之一帕特里克·格罗瑟(Patrick Grother)表示:“虽然通常不宜对算法作出笼统论断,但我们在所研究的大多数算法中发现了人口统计学差异存在的实证证据。”

在人工智能的应用中,公平性与非歧视风险的来源包括:隐性偏见、抽样偏见、时间偏见、对训练数据的过拟合,以及边缘案例和异常值。
隐性偏见
隐性偏见是指对某个人或群体的歧视或偏见,而持有偏见者本人并未意识到。这种偏见之所以危险,是因为当事人并未察觉自身的偏见,无论其基于性别、种族、残障、性取向还是阶层。
抽样偏见
这是一个统计学问题:从总体中随机选取的数据未能反映总体的分布。样本数据可能偏向群体中的某一子集。
时间偏见
这基于我们对时间的认知。我们或许能构建一个在当前表现良好的机器学习模型,但由于在建模时未考虑未来可能发生的变化,它在未来可能失效。
对训练数据的过拟合
当人工智能模型能够准确预测训练数据集中的数值,却无法准确预测新数据时,就会出现这种情况。该模型过于拘泥于训练数据集,无法推广至更大的人群。
边缘案例和异常值
这些是超出训练数据集边界的数据。异常值是指偏离数据正常分布的数据点。错误和噪声被归类为边缘案例:错误是指数据集中缺失或不正确的数值;噪声则是对机器学习过程产生负面影响的数据。
如何识别公平性与非歧视风险
分析技术
分析技术要求细致评估训练数据中是否存在抽样偏见,以及各群体在训练数据中的代表性是否失衡。您可以调查数据集的来源和特征,检查数据是否均衡。例如,某一性别或种族的代表性是否高于另一方?数据量是否足以支持训练?是否有某些群体被忽视?
关于抵押贷款的一项近期研究表明,用于发放或拒绝贷款的预测模型对少数族裔并不准确。芝加哥大学研究员斯科特·纳尔逊(Scott Nelson)与斯坦福大学经济学家劳拉·布拉特纳(Laura Blattner)发现,多数群体与少数群体之间抵押贷款审批存在差异,其原因在于低收入群体和少数族裔在信用记录中留存的数据较少。若缺乏对数据的深入分析,偏见的成因将无从察觉、无从知晓。
在不同环境中测试模型
如果训练数据所处的环境并不适用于更广泛的人群,该怎么办?让您的模型接触不同的环境和情境,以获得新的洞见。您需要确保模型能够推广到更广泛的场景之中。
一项针对基于医疗保健的风险预测算法的审查该算法曾被用于约2亿美国公民,却显示出种族偏见。该算法用于预测哪些患者应获得额外的医疗照护。研究发现,该系统对白人患者的倾斜程度高于黑人患者。该算法开发的问题在于,部署前未能针对所有主要种族进行充分测试。
缓解公平性与非歧视风险的策略
包容性设计与可预见性
包容性设计强调在设计过程中纳入多元群体。人工智能产品在设计时应充分考虑性别、种族、阶层和文化等不同群体。可预见性则是指预判人工智能系统当下及长期将产生的影响。
《美国医学会杂志》(JAMA)近期发表的一项研究审查了70余篇学术文献,比较了医生与数字“替身”在临床医学多个领域的诊断能力。用于训练这些算法的大量数据仅来自三个州:马萨诸塞州、加利福尼亚州和纽约州。该算法能否很好地推广至更广泛的人群?
许多研究人员担心皮肤癌检测算法的问题。由于这些算法主要以浅色皮肤人群为训练对象,大多数算法在检测深色皮肤的皮肤癌时表现不佳。皮肤癌检测模型的开发者在模型开发中未应用包容性设计原则。
开展用户测试
测试是新产品或服务开发的重要环节。此处的用户测试是指,在产品发布前,邀请将使用您人工智能产品的各类群体代表进行测试。
STEEPV分析
这是一种对外部环境进行战略分析的方法。该名称是社会(Social,即社会态度、文化和人口结构)、技术(Technological)、经济(Economic,即利率、增长率和通胀率)、环境(Environmental)、政治(Political)和价值观(Values)的首字母缩写。开展STEEPV分析将有助于您在实践中识别公平性与非歧视风险。
世界经济论坛在多元化、公平与包容方面开展了哪些工作?
新经济与社会中心致力于连接各界领袖,帮助其理解经济与技术变革如何重塑就业、技能与机遇。
通过共享洞见与合作,该中心助力合作伙伴探索包容性经济模式,以支持人们和社会平稳过渡。
社会中现有的偏见极易被转移到算法之中。我们看到,机器学习中很容易出现针对种族和性别的歧视。随着企业组织利用人工智能提升生产力和绩效,它们迫切需要更积极地确保公平性与非歧视。一种可能的解决方案是在开发团队中设立人工智能伦理专员,以便在项目早期、投入大量时间和资金之前发现并缓解伦理风险。

