观点：人工智能会歧视你吗？

欧盟基本权利机构（FRA）询问人们对自动化边境控制的看法时，大多数人都表示：“我宁愿让机器检查我的证件，因为它不会歧视我。”

当时是2015年，人工智能（AI）的应用刚刚开始兴起。快进到2023年，人工智能已无处不在。它会告诉我们在Netflix上能看什么，能帮助我们研发疫苗，还能选出简历最优秀的求职者。

但这么多年过去，有一件事没变：大多数人仍未意识到机器对他们生活的影响有多大。而且，这些机器也可能会歧视人类，不仅在理论上，事实上也是如此。

在最极端的一些案例中，数千个无辜家庭被诬告存在欺诈行为，被迫退还社会福利，其中不乏少数族裔家庭。他们成为算法的目标仅仅是因为自己的出身背景。有些人因此陷入贫困、失去家园，无法继续照顾自己的孩子。

国际特赦组织在其报告《排外的机器》（Xenophobic machines）中记录了在这种情况下，技术的使用有多么容易导致歧视。联合国则敦促全球各国政府要避免毫无知觉地跌入数字福利的反乌托邦。

但问题不仅在于数字福利。人工智能的使用也引发了许多其他领域的问题，包括医疗、教育、健康和治安领域。

例如，一些欧洲国家已经开发出一套基于历史数据的入室盗窃预测系统。借助算法，该技术可以计算出未来可能发生类似犯罪的时间和地点。警察巡逻的部署就可以根据这些预测来安排。

但这类人工智能工具的问题在于，它们依赖的历史犯罪数据可能存在偏差。例如，有研究表明，欧洲警方拦截黑人青年的频率高于其他任何人，因此也会产生更多的拦截记录。如果将这些记录输入机器，机器就会不断将警察派往特定街区。而这可能与实际犯罪率无关。

同样，算法在检测网上的冒犯性言论时，也可能产生错误信息。当基本权利机构测试仇恨言论自动检测模型时，很快发现这些算法完全不可靠。诸如“我是犹太人”或“我是穆斯林”等无伤大雅的短语可能会被标记为冒犯性内容。而冒犯性内容可能很容易地通过审核。这是因为算法使用的现有数据集并非中立。

这只能说明，即使怀有好的意图，偏见也很容易从一开始就被编写进算法。

你会把自己和孩子的生命交到一项你不了解的技术手中吗，而且你无法预测它的发展方向？我认为我们没有必要这么做，那是一个反乌托邦式的未来。

但这并不意味着我们要停止使用人工智能，而是我们需要更好地理解算法的运作方式，了解它们是如何产生偏见的。我们不能安于接受“人工智能是一个黑匣子”的解释，就让它们以惊人的速度自生自灭。

相反，我们需要坚持透明度原则。人类必须密切参与对人工智能的监控工作，并始终在其使用环境中测试应用程序。因为人工智能可能影响每一项我们能想象得到的人权，从言论自由、集会自由到行动自由和隐私权，我们需要知道这些权利是否受到威胁。

如果我们对风险有了更多的认识，就能更好地降低风险，确保人工智能带来我们所期望的好处。

为此，我领导的机构向技术开发者、政府机构、监管部门和立法者提出了以下几项建议：

人工智能可能影响到许多人权，不仅仅是隐私或数据保护。未来的人工智能立法需要考虑这一点，并制定有效的保障措施。

各组织应进一步研究和评估人工智能损害人权和导致歧视的可能。此外，还需检测它们是否存在偏见，因为算法可能从一开始就带有偏见，也可能随着时间的推移而产生偏见。这种偏见的覆盖面可能很广，因此相关工作人员必须考虑所有可能存在的歧视理由，包括性别、宗教和种族等。

为了评估人工智能是否存在潜在歧视，可能需要受保护特征（如种族或性别）的数据。这就需要对何时允许收集这类数据提供指导，数据收集必须有充分且必要的理由，同时采取有效的保障措施保护数据安全。

建立一个综合系统，让企业和公共管理部门共同在使用人工智能时负责。监督机构需要有足够的资源和技能来开展工作。让监督透明有效至关重要，这就需要升级获取数据和数据基础设施的方式，更好地识别和应对偏见风险。

人们应当知道人工智能何时被使用、如何被使用，以及如何投诉和在何处投诉。使用人工智能的组织机构应当能够解释其人工智能系统做决定的过程及理由。

是时候打破“人权阻碍我们进步”的神话了。我们无需在人权和创新之间寻求平衡，这不是零和博弈。

更加尊重人权意味着会发展出更值得信赖技术，更值得信赖的技术也更具吸引力，从长远来看，这样的技术更将取得成功。

如果我们处理得当，就可以期待未来会有惊人的发展。那将是一个可以治愈疾病的未来，一个公共服务的效率和质量远高于今天的未来。

如果我们将人工智能引向正确的方向、不把决定权完全交给机器，这一切都有可能实现。

本文作者：

Michael O’Flaherty，欧盟基本权利机构负责人

本文原载于世界经济论坛Agenda博客，转载请注明来源并附上本文链接。

翻译：孙芊

编辑：王灿