麻省理工学院和斯坦福大学的研究人员将在本月晚些时候举行的公平、问责与透明度大会上发表一篇新论文。论文指出，三款由大型科技公司推出的商用人脸分析程序都存在肤色和性别偏差。
在研究人员的实验中，这三款程序判断浅肤色男性性别的错误率从未超过0.8%。然而，对于深肤色女性，错误率大幅上升：其中一款超过20%，另外两款均超过34%。
研究结果引发了人们对当今神经网络训练和评估方式的疑问。神经网络通过在庞大数据集中寻找模式来学习执行计算任务。例如，论文称，一家美国大型科技公司的研究人员声称，他们设计的人脸识别系统准确率超过97%。但用于评估其表现的数据集中，男性占比超过77%，白人占比超过83%。
“这里真正重要的是方法，以及这种方法如何应用于其他领域，”麻省理工学院媒体实验室公民媒体组研究员、新论文第一作者乔伊·布奥拉姆维尼说。“那些可用于尝试判断某人性别、以数据为中心的技术，也会用于识别犯罪嫌疑人或解锁手机。这不仅关乎计算机视觉。我非常希望这能推动更多研究去考察[其他]差异。”
蒂姆尼特·格布鲁也参与了这篇论文的研究。研究开展时，她还是斯坦福大学的研究生，如今是微软研究院的博士后。
偶然发现
布奥拉姆维尼和格布鲁调查的三款程序都是通用人脸分析系统，可用于匹配不同照片中的人脸，也能评估性别、年龄和情绪等特征。三款系统都将性别分类视为二元判断——男性或女性——因此，这项任务的表现尤其容易进行统计评估。不过，这些程序在其他任务上的表现可能也受到同类偏差的影响。
事实上，正是偶然发现其中一款程序的人脸追踪似乎存在偏差，促使布奥拉姆维尼着手开展这项调查。
几年前，布奥拉姆维尼还是媒体实验室的研究生，当时她在开发一个名为“Upbeat Walls”的系统。这是一件互动多媒体艺术装置，用户可以通过移动头部，控制投射在反光表面上的彩色图案。该系统使用一款商用人脸分析程序来追踪用户的动作。
布奥拉姆维尼为这个项目组建的团队成员来自不同族裔。但研究人员发现，在公开展示设备时，他们不得不依靠一位肤色较浅的团队成员来演示。该系统似乎无法可靠地处理深肤色用户的情况。
出于好奇，身为黑人的布奥拉姆维尼开始将自己的照片提交给商用人脸识别程序。在好几种情况下，程序甚至无法识别照片中有人脸；即便识别出人脸，也总是把布奥拉姆维尼的性别判断错误。
量化标准
为系统地调查这些程序的偏差，布奥拉姆维尼首先整理了一组图像，其中女性和深肤色人士的代表性远高于通常用于评估人脸分析系统的数据集。最终，这组图像包含1,200多张。
接着，她与一位皮肤科外科医生合作，按照菲茨帕特里克肤色量表为图像编码。该量表由皮肤科医生最初制定，用于评估晒伤风险，共分六级，从浅到深。
随后，她将三家大型科技公司的商用人脸分析系统应用于新建的数据集。在所有三款系统中，女性的性别分类错误率始终高于男性，深肤色受试者的错误率也始终高于浅肤色受试者。
对于深肤色女性——即在菲茨帕特里克量表中被评为IV、V或VI级的人士——错误率分别为20.8%、34.5%和34.7%。但在其中两款系统中，数据集中肤色最深的女性——即被评为VI级的人士——错误率更高，分别达到46.5%和46.8%。实际上，对于这些女性来说，系统判断性别几乎就像随机猜测。
“在商用系统中，对于一个已被简化为二元分类的任务，三分之一的情况都判断失败，你不得不问：如果这些失败率出现在另一个子群体中，这种情况还会被允许吗？”布奥拉姆维尼说。“另一个重要教训是……我们的基准，也就是衡量成功的标准，本身可能会让我们误以为取得了进展。”
“这是一个数据集会对模型表现产生重大影响的领域，”IBM Watson人工智能系统首席架构师鲁奇尔·普里说。“我们现在推出了一个新模型，在乔伊考察的基准测试中，其准确率表现均衡得多。它使用了50万张类型均衡的图像，而且底层采用了一个鲁棒性更强的不同神经网络。”
他补充说：“做好这些工作需要时间。我们为此已经投入了大约八到九个月。这个模型并非专门针对她的论文而开发，但我们主动着手直接回应她提出的问题，包括她采用的基准。她提出了一些非常重要的问题，我们应该看看新成果能否经受住这些检验。”
