人类正面临一个严峻的新现实——自主武器的兴起。这听起来或许像好莱坞剧本，但风险真实存在：人类与战时抉择渐行渐远，生死攸关的决策实际上交由传感器和软件作出。
如果决定是否夺取人的生命被交给算法，未来将会怎样？机器人和计算机系统缺乏人类独有的能力，无法理解自身所处的复杂环境以及所使用的武器。此外，武器系统越复杂——例如纳入机器学习技术——获得的在无人类干预下采取行动的自由度越大，其使用后果就越难以预测。
红十字国际委员会认为，杀伤、致伤和毁灭决策的责任必须由人类承担。理解法律及违反法律后果、并负责执行法律的，应是人类士兵或战斗人员，而不是机器。这些义务不能转交给计算机程序。各国政府必须立即着手商定武器系统自主性的限制，并听取民间社会和科技行业的意见。
技术进步带来了巨大机遇。无论是在医学、交通、农业、商业、金融还是几乎任何其他领域，机器人技术、人工智能和机器学习都在改变我们分析周围世界数据并据此采取行动的方式。这些技术用于国家安全和国防领域合情合理，因此许多国家大力投资人工智能以及自主性更强的军用机器人系统，也就不足为奇。
但谈到武装冲突时，我们不能忘记，即使战争也有界限。如今需要为自主武器系统界定限制的各国政府，必须确保其符合国际人道法，并以人道原则和公众良知的要求为坚实根基。
好消息是，政府专家组负责审查自主武器系统的政府专家组于今年4月在瑞士日内瓦举行会议时，与会各方普遍同意，武器系统必须保留人类控制。
不过，从某种意义上说，这还算容易。各国政府必须在8月下旬的下一次会议上，以这一共识为基础，回答更难的问题：需要达到何种程度的人类控制，才能确保既符合我们的法律，又符合我们的价值观？
这个问题的答案至关重要，因为一些能够自主执行目标选择和攻击这类“关键功能”的武器系统，已经在有限情形下用于非常具体的任务，例如拦截来袭导弹或火箭弹。由人类操作员启动后，武器系统便会自行选择目标并发动反击。
然而，未来人工智能武器系统的可能范围要广泛得多。它涵盖各种武装机器人系统，并可能以已经在测试中的人工智能“决策辅助”系统技术为基础；这类系统会分析视频画面并识别潜在目标。
新技术正以惊人的速度不断进步，各国政府必须在科学和技术界的支持下紧急采取行动，就相关限制达成一致，以保留至关重要的人类因素，同时不扼杀或拖慢带来显著益处的技术进步。
否则，令人深感不安的前景将是新一轮军备竞赛，以及一个由算法操控战争的未来；届时平民和战斗人员都将面临难以预料的后果。
