上个月，100多位机器人与人工智能（AI）企业首席执行官签署了一封公开信，向联合国警告自主武器的危险。
过去三年来，各国在日内瓦的联合国框架下齐聚一堂，依据《特定常规武器公约》讨论自动化在未来武器中的作用，以及人类决策的角色。各国面临的核心问题是：战争中的杀人决策是否应交由机器作出。
与许多其他领域一样，武器中的自动化与自主化程度日益提高。30多个国家已经拥有或正在研发武装无人机，但这些无人机大多由远程操控。一些无人机能够自主起飞和降落，或按预先编程的航线飞行，但是否使用其武器完全由人控制。人工智能的进步以及物体识别技术的发展，令人担忧未来武器可能自行搜索、识别并决定攻击目标。
能够自行搜寻目标的自主武器，将是数十年来武器系统不断提高自动化程度这一趋势的下一步。自第二次世界大战以来，各国一直使用“发射后不管”的制导弹药，例如鱼雷和导弹；这些武器一经发射便无法召回。制导弹药配有机载寻的器，可感知敌方目标、机动修正瞄准误差，并锁定移动目标。
然而，与自主武器不同，这些弹药不会自行决定攻击哪些目标。由人决定摧毁目标，制导弹药只负责执行行动。一些武器也利用自动化辅助人类判断是否开火。如今，雷达借助自动化识别物体，但大多数情况下，开火决定仍由人作出。
有时，为应对敌方威胁所需的速度，迫使人类“退出决策环”，让机器自行决定何时开火。例如，人类不可能反应足够快，无法用地面车辆抵御反坦克火箭和导弹，因此各国采用主动防护系统，自动感知并拦截这些威胁。目前，30多个国家使用由人类监督的自主武器，保护舰船、车辆和陆地基地免遭攻击。这意味着人类负责监督，并在出现异常时介入；但武器一旦启动，就能自行搜索、判定并攻击目标。
机器人技术与自主化的发展，使未来能够自行搜寻并攻击目标的进攻性武器成为可能。一些主要军事强国正在研发隐形作战无人机，以侵入敌方空域。这类无人机需要具备在敌方防线深处自主行动的能力，同时与人类操控者的通信链路有限，甚至完全没有。各国可能决定将无人机的攻击限制在由人类预先授权的固定目标上，类似于当今的巡航导弹。但各国也可能决定允许无人机自行搜索并摧毁新目标。
将武器的权限交给机器，在无人监督的情况下主动搜索、判定并攻击目标，会带来什么后果？我们无从得知。它们或许能正常运作，也可能发生故障并摧毁错误的目标。若没有人监督其运行，它们甚至可能持续攻击错误目标，直到弹药耗尽。在最糟糕的情况下，整支自主武器舰队可能遭敌方操纵、欺骗或入侵，从而攻击错误目标，甚至攻击友军。
越来越多的人士开始警告自主武器可能带来的后果。虽然没有国家表示打算研发自主武器，但也很少有国家明确放弃这类武器。大多数主要军事强国都为研发自主武器留下了余地，即使它们声称目前没有相关计划。
对此，已有60多个非政府组织呼吁缔结一项国际条约，在自主武器研发出来之前将其禁止。两年前，3000多名机器人与人工智能研究人员签署了一封公开信，同样呼吁禁令，但立场略为审慎。他们没有主张一概禁止，而是提议只禁止“超出有意义的人类控制范围的进攻性自主武器”（但未对这些术语作出定义）。值得注意的是，最近一封公开信并未呼吁禁令，但确实要求采取某种行动来“保护我们免受所有这些危险”。
应对自主武器的最大挑战之一，是界定术语。自主武器的概念似乎相当简单：由人决定杀谁，还是由机器自行作出决定？但实际上，过去70年来，随着每一代武器发展，自动化都在逐步渗入其中。这就像汽车领域，自动化正逐步接管紧急制动、车道保持和停车等任务；远看似乎界限分明的事物，近看却可能模糊不清。
这种逐步发展的自主能力将把我们带向何方？它可能让人类与战场渐行渐远，让杀戮变得比以往更加缺乏人情味、更加机械——这究竟是好是坏？未来的机器也可能作出更好的目标选择决策，从而保护平民生命、减少附带损害。如果自动驾驶汽车有望减少交通事故死亡，那么能够自主选择目标的武器或许也能减少战争中的不必要杀戮。
围绕自主武器的许多辩论，都聚焦于其假定的准确性与可靠性。禁令支持者认为，这类武器容易误伤平民。禁令反对者则表示，这或许是当前的情况，但技术会不断进步，未来有朝一日或许能胜过人类。
这些问题很重要，但知道答案还不够。技术正把人类与战争的关系带到一个根本性的十字路口。未来，在战场上部署能够自行搜索、决定攻击并攻击目标的武器将变得越来越可行。除了追问机器能否完成这些任务，我们还应追问它们是否应该这样做。如果我们拥有所有可以想象的技术，我们希望人类在战争中的致命决策里扮演什么角色？
要回答这个问题，我们需要超越“人类是否在决策环中”这类过于宽泛的概念。正如驾驶逐渐成为人类控制与自动化相结合的过程，如今有关武器交战的决策也已结合自动化与人类判断。红十字国际委员会（IRC）建议研究武器系统交战相关的“关键功能”。这种方法有助于厘清哪些环节需要人类控制，以及自动化在哪些任务上可能发挥作用。
有些与交战有关的任务显然适合由机器协助。战争中的一些判断有客观正确答案，例如：“这个人拿的是步枪还是耙子？”我们可以设想机器能够回答这个问题。在一些物体识别基准测试中，机器已经胜过人类，不过它们也容易受到欺骗攻击，存在重大漏洞。
战争中的一些决策需要判断力——目前这种能力很难编入机器。战争法要求，攻击目标造成的任何附带损害都不得与军事优势不成比例。但要判断多少平民死亡算“合乎比例”，需要作出主观判断。
有朝一日，机器或许能够作出这类判断，前提是我们能预见具体情形；但当前人工智能的发展水平意味着，机器很难考虑其行动所处的更广泛背景。即使未来的机器能够作出这类判断，我们仍需追问：战争中是否有些决策应由人类作出，不是因为机器做不到，而是因为它们不应该做？如果有，原因是什么？
这些问题并不容易回答。技术迫使我们重新思考人类与战争的关系。最近那封公开信批评联合国讨论进展缓慢。的确，与人工智能和机器学习的迅猛发展相比，国际外交步伐迟缓。但也有进展：过去三年来，联合国的讨论已开始探讨这些议题。
有人提议确立“有意义的人类控制”原则。这个术语在国际上引发了一些争议（无疑部分原因是禁令倡导者不断将其等同于禁令），但聚焦人类角色这一理念正逐渐得到认可。一些国家提出了其他说法，例如“适当的人类判断”或“适当的人类参与”。无论具体措辞如何，在战争中提出“______人类______”原则的理念似乎正日益受到重视。这是一种新的范式：它关注的是人，而非武器。
以人为中心的方式思考自主化在武器系统中的作用，具有诸多价值。技术在不断发展，但人类始终如一。如果只关注自动化今天能做什么或不能做什么，这种方法很快就可能过时。以人为中心地思考自主武器，有望形成能够延续多年的原则和理念。
