全球100多家顶尖人工智能公司的负责人对“杀手机器人”的研发深感担忧。在一封公开信中，这些商界领袖——包括特斯拉的埃隆·马斯克和谷歌旗下DeepMind人工智能公司的创始人——警告称，自主武器技术可能被恐怖分子和独裁者滥用，也可能遭到黑客攻击，导致其以不受欢迎的方式运行。
但真正的威胁要大得多——威胁不仅来自人类的不当行为，也来自机器本身。复杂系统研究表明，系统可能涌现出远比个体行为总和更加难以预测的行为。这在一定程度上意味着，人类社会的表现可能与仅根据个体行为所作的预期大相径庭。这也适用于技术。即使是由相对简单的人工智能程序构成的生态系统——我们称之为“愚笨的好机器人”——也可能让我们感到意外，即使每个机器人本身都表现良好，系统仍可能涌现出远比个体行为总和更加难以预测的行为。这在一定程度上意味着，人类社会的表现可能与仅根据个体行为所作的预期大相径庭。这也适用于技术。即使是由相对简单的人工智能程序构成的生态系统——我们称之为“愚笨的好机器人”——也可能让我们感到意外，即使每个机器人本身都表现良好。
构成复杂系统的各个要素，例如经济市场或全球天气，往往不会以简单的线性方式相互作用。这使得这些系统很难建模和理解。例如，尽管气候学研究已有多年，我们仍无法准确预测长期天气。这些系统往往对微小变化十分敏感，还可能出现剧烈的反馈循环。我们也很难在任一时刻准确掌握这类系统的状态。所有这些因素都使这类系统本质上难以预测。
无论是人类社会还是人工智能机器人群体，所有这些原理都适用于以各自方式行动的大型个体群体。我和同事们最近研究了一种复杂系统，其中包括用于自动编辑维基百科条目的“好机器人”。维基百科值得信赖的人类编辑设计并使用这些不同的机器人，其底层软件则是开源的，任何人都可以研究。每个机器人都有一个共同目标：改善这部百科全书。然而，它们的集体行为却出人意料地低效。
这些维基百科机器人依据成熟的规则和惯例运行，但由于网站没有中央管理系统，运行不同机器人的人员之间缺乏有效协调。因此，我们发现，有些机器人对多年来彼此所做的编辑反复撤销，却一直无人察觉。当然，由于这些机器人没有认知能力，它们自己也没有发现这一点。
设计这些机器人是为了加快编辑流程。但机器人设计上的细微差异，或使用者之间的差异，都可能导致资源被大量浪费在持续不断的“编辑战”中；如果由人类编辑处理，问题本可以更快解决。
我们还发现，这些机器人在维基百科的不同语言版本中表现各异。各版本的规则大致相同，目标完全一致，技术也相似。但与葡萄牙语维基百科等版本相比，德语维基百科中机器人之间的协作效率和成效要高得多。这只能用不同环境下运行这些机器人的人类编辑之间存在差异来解释。
混乱呈指数级增长
维基百科机器人几乎没有自主性，而整个系统的运作方式已经与各个机器人的目标大相径庭。但维基媒体基金会正在计划使用人工智能，让机器人拥有更高的自主性。这很可能会带来更多意想不到的行为。
另一个例子是，两个设计用于与人类交谈的机器人彼此互动时可能发生的情况。对于苹果手机上的Siri等人工智能个人助理给出的回答，我们已经见怪不怪了。但如果把几个这样的聊天机器人放在一起，它们很快就可能出现令人意外的行为，彼此争论，甚至互相辱骂。
系统规模越大，每个机器人的自主性越强，系统未来的行为就越复杂，也就越难以预测。维基百科是由大量相对简单的机器人组成的系统；聊天机器人则是由少数相当复杂且富有创造力的机器人组成的系统——两种情况下都出现了意想不到的冲突。随着系统中个体不断增多，复杂性以及由此带来的不可预测性会呈指数级增长。因此，未来若出现一个由大量高度复杂机器人组成的系统，其意外行为可能超出我们的想象。
自动驾驶的疯狂
例如，自动驾驶汽车有望显著提升道路交通的效率和安全性。但我们还不知道，当大量全自动驾驶汽车组成一个庞大而开放的系统时会发生什么。它们的行为很可能与受控环境中的少量单车大不相同。当由不同人类在不同环境中“训练”出来的无人驾驶汽车开始彼此互动时，还可能出现更多意想不到的行为。
人类能够相对迅速地适应新规则和惯例，但在不同系统之间切换时仍可能遇到困难。对人工智能体而言，这可能要困难得多。比如，一辆“在德国训练”的汽车在意大利行驶时，我们完全不知道它将如何应对书面交通规则，以及众多其他“在意大利训练”的汽车所遵循的不成文文化惯例。像穿越十字路口这样常见的行为都可能变得致命危险，因为我们无法确定汽车会按预期方式互动，还是会做出完全无法预测的举动。
现在想想埃隆·马斯克及其同事所担心的杀手机器人。单个杀手机器人落入坏人之手就可能非常危险。但如果是一整个行为难以预测的杀手机器人系统呢？我甚至不愿去想。
