前沿风险是指低概率、高影响的威胁，可能在人类探索新领域（无论是技术、生态还是领土领域）时出现。
致命自主武器系统无需人类控制即可行动，构成严重的前沿风险。
针对军事化人工智能的全球监管仍然不足，但前进的路径是存在的
近年来，人工智能（AI）技术的重大进展推动了军事武器日益精密化。其中最值得关注的新型装备是致命自主武器系统（L.A.W.S.）：这类机器经过设计，能够在无人类控制的情况下识别、攻击并摧毁目标。
这类机器及其部署所带来的风险，长期以来一直是科幻文学和电影的素材，例如德国电影《大都会》（1927年）和雷·布拉德伯里1953年的反乌托邦小说《华氏451度》。但L.A.W.S.已不再只是猜测。人工智能系统现在已能够独立地使用数据、预测人类行为、收集情报、实施监视、识别潜在目标以及在虚拟作战中做出战术决策。机器人在军事领域的应用正变得日益普遍，向专为作战而优化的全自主机器人的跨越也已切实可行。如今的重大问题已不再是可能存在哪些类型的L.A.W.S.，而在于它们是否 会对人类构成前沿风险。*
什么是前沿风险？
前沿风险是指低概率、高影响的威胁，可能在人类探索新领域（无论是技术、生态还是领土领域）时出现。其后果难以轻易预测（尤其是对于缺乏专业见解的非专业群体而言），但它们有能力改变我们所熟知的世界。这些前沿风险可以用三个隐喻来最好地说明：“龙王”（稀有、高影响事件，具有一定的可预测性）、“灰犀牛”（概率极高、高影响事件，仅在经历漫长的一系列预警后才会发生）以及“黑天鹅”（几乎无法预测的高影响事件）。自主武器全面军事化可能引发的前沿风险包括：军事行动造成的灾难性后果，以及在机器具备感知能力的时代出现的人类生存危机。
为什么军事系统正在走向自主化？
无人机如今已被军队使用，但存在脆弱性。大多数无人机依赖人类通过一系列通信渠道下达指令，而这些渠道可能被对手渗透。此外，部署于战场的多架无人机需要大量人员进行操作。若摆脱对人类控制的依赖，便可同时派出数以千计的L.A.W.S.，每一架都能自主做出及时的战术决策。这加快了速度，扩大了作战人员的作战范围，并降低了对目标近距离接触的需求。L.A.W.S.还超越了人类心智和身体的局限（例如，它们不会有患上创伤后应激障碍的风险，也不会为了自我保存而做出错误判断）。
然而，仍存在一些尚未解答的问题以及可能无法预见的后果。世界大国为在该领域争取领先地位而展开的竞争，引发了美国陆军四星上将戴维·彼得雷乌斯所称的“科技冷战的早期阶段”。同样，企业家埃隆·马斯克于2017年警告称，争夺人工智能军事应用的竞赛可能会愈演愈烈，以至于引发第三次世界大战。由于数十年来流行文化中充斥着机器人末日的猜想，公众对L.A.W.S.的恐惧早已根深蒂固。然而，出于政治主权考虑，部分国家似乎并未被有关L.A.W.S.潜在风险的担忧所打动。全球范围内针对军事化人工智能使用的监管也明显不足。尽管联合国与欧洲议会已提出禁止在战争中使用致命自主机器人的提案，但关于如何监管这些武器，以及监管是否会与各国主权相冲突，仍有诸多问题有待解答。
机器会拯救我们还是毁灭我们？
机器会犯错，尽管犯错频率低于人类士兵。但人类需为其行为承担责任，机器则无法承担法律后果。鉴于战争相关国际人道法（IHL）的复杂性，可能存在释放机器的风险：这些机器难以区分积极参战人员、负伤士兵和投降者，从而违反《1949年日内瓦公约》。有人认为，全自主武器的理念本身就已违反国际人道法。例如，《马尔顿条款》优先考虑人的尊严以及士兵对同类表现怜悯的能力。但由代码驱动的机器人目前尚不具备做出此类决定的能力，并可能最终违反规则。关于违反国际人道法的另一项担忧，在于L.A.W.S.可能自行采取行动。这一原本被视为最富想象力的反乌托邦小说素材的设想，近年来正日益受到关注；马斯克和理论物理学家史蒂芬·霍金教授均曾警告，具有感知能力的人工智能可能夺取控制权，威胁人类文明。《特定常规武器公约》与《新德里规则》第14条禁止使用可能脱离使用者控制、从而危及平民的武器。虽然这一情景可能仍被视为不太可能发生，但这正是一种可能对世界造成灾难性影响的前沿风险。
避免L.A.W.S.风险的路径
尽管L.A.W.S.是军事干预领域的又一成果，但采用“人在回路上”的方式可能要安全得多，即由人类以监督角色保留对武器的控制权。L.A.W.S.或许不像新冠疫情、网络攻击或气候变化那样构成明显的灾难性风险，但我们需要以全新视角思考所有这些风险，以及如何避免它们。我们需要更加透明的风险沟通渠道；投资于监督人工智能风险管理的机构，并出台政策以遏制军事技术的发展速度。联合国可以规定军事部署的特定风险等级，并激励那些符合国际人道法部署要求的行为（例如，类似论坛与智能玩具奖的合作，以奖励优先考虑创作伦理的机器人制造商）。重点应从完善战争艺术，转向借助技术学会遏制人类普遍存在的好战倾向。归根结底，这将是国际人道法、科学伦理以及人类文明的胜利。
（这在一定程度上是世界经济论坛设立前沿风险全球未来理事会：借助其多元化、具前瞻性的成员，为未来全球风险带来全新思路，识别下一代的关键未来冲击，并提出政策机遇，以在当下增强应对这些风险的韧性。）
（Jake Okechukwu Effoduh是阿布贾中心的全球新锐人士。）
