本文是世界经济论坛地缘战略平台
对“杀手机器人”迫在眉睫的危险作出过度渲染、灾难性的设想，源于一种真实的需要：当人工智能和机器人技术应用于军事领域时，必须考虑其发展带来的伦理和法律影响。
尽管如此，国际社会在应对这些挑战的最佳方式上难以达成共识，部分原因是各方甚至无法就引发担忧的能力作出统一界定。
最大的难题之一，是确保人类操作员在使用致命武力时保有控制权；但即使采用这种听起来具体的思路，也会把控制权可能丧失的多种情形归为一类。
由热传感器触发的机枪，是对简单自动化的滥用。那些让人类操作员承受过量信息、又不给他们足够时间作出决定的系统，可能在技术上无法控制。负责为遥控飞机确定目标的人类机组人员，可能会觉得自己与决策足够疏离，以至于失去对决策的有效控制。
上周，联合国政府专家组（GGE）会议在讨论致命自主武器系统时审议了这些及其他可能性。该论坛适合讨论新技术带来的影响，但显然需要更具体地说明所考虑的风险。
要求实施禁令
自动化系统能够根据操作员的输入作出可预测的响应，这类系统早已存在。但随着自动化日趋复杂，各方的担忧以及禁止研发致命自主系统的呼声不断增加，其中也包括无意图或无内部能力研发高度自动化军事装备的国家。
许多国家已经注意到这些担忧，并各自采取措施，识别和减轻新技术带来的风险，确保技术的使用符合国际人道法，也符合往往更加严格的国内政策。
负责任地研发武器的国家，对武器采购和使用实行一系列广泛的控制措施。这些措施旨在确保军事指挥官和操作员具备胜任能力、充分知情，并确保他们使用武力的控制力因所用工具而得到增强，而非削弱。
积极效益
有人指出，在有效的人类控制下使用设计完善的自动化系统，可以促进遵守国际人道法原则。这些积极效益也是禁令并非正确解决之道的原因之一。
人工智能的发展意味着，可以设想一种不可预测、却能产生比人类决策“更好”结果的系统。然而，无论人类多么容易将机器拟人化，这样的机器实际上都不会像人类那样作出决策。它们不具备道德主体性。
没有这样的道德主体，就无法确保遵守国际人道法。例如，比例原则要求评估对平民造成的伤害和损失是否相对于预期军事优势而言过度。无论新型机器多么先进，这都超出了它们的能力范围；因此，国际人道法实际上已经禁止使用任何此类系统。如果法律层面的论据有说服力，那么战术层面的论据更是如此——仅凭常识，就足以排除在使用致命武力时允许系统自动执行不可预测结果的做法。
在复杂且本质上以人为核心的战争领域，蓄意将责任交给机器这一想法本身就不切实际
未定义
英国在上周一发布的上议院人工智能特别委员会报告中受到批评，原因是其仍沿用一种自主性定义，即能够独立理解更高层级意图和命令的系统——这一设想被广泛批评为不切实际。事实上，在复杂且本质上以人为核心的战争领域，蓄意将责任交给机器这一想法本身就不切实际。英国的定义代表了可将此类系统视为现实的最低标准；这种系统几乎可以肯定目前并不存在，而且很可能永远不会存在。
因此，禁止研发和使用致命自主武器系统，并不像表面看起来那样是一个简单的解决方案。
不过，讨论不应就此结束。高度复杂的自动化确实给人类控制带来了新的挑战。GGE可以通过分享最佳实践、听取专家、学者和民间社会的意见，帮助各国克服这些挑战。该论坛也提供了机会，让各方考虑自动化武器的规模及其风险平衡可能对战争规范造成的影响。
不过，首要的是，各国必须承担责任，在研发和使用新型武器技术时履行已有的国际法律和伦理义务。
禁止自主武器并非解决之道，英国陆军少将凯瑟琳·麦肯德里克，查塔姆研究所国际安全部访问研究员
