关于一些DeepMind 的实验，近期议论颇多。这些实验研究人工智能系统在玩游戏时会采取攻击性还是合作性行为。玩家收集虚拟苹果；他们还可以通过“发射”虚拟“激光”暂时使对手失去行动能力。人们惊讶地发现，人工智能有时会认为，向对手开火比和平地收集苹果更有利。
我的问题很简单：这说明了什么？答案也很简单：什么也说明不了。如果你让人工智能玩一款允许向对手发射激光的游戏，那么它向对手发射激光并不令人意外，无论对手是虚拟的还是现实中的。你不会指望它先验地发展出某种版本的阿西莫夫定律，然后说：“我不能这么做。”（如果软件不允许它发射激光，那它当然不会发射，但这实在没什么值得关注的。）你不会指望人工智能良心发现，说：“不，不，我做不到。”除非它被编入了某种内疚模块；据我所知，这种模块并不存在。
毕竟，人类也会做同样的事。他们既会在第一人称射击游戏中杀人，也会在现实生活中杀人。政府设有完整的部门体系，专门组织杀害他人。（讽刺的是，我们把这称作“维持和平”。）而人类虽然有内疚模块，通常也是事后才启动。
这类游戏唯一可能回答的有趣问题是：与人类相比，人工智能系统更愿意还是更不愿意扣动扳机。我愿意打赌：
- 电脑与人类对弈时，电脑会赢。我们在国际象棋、围棋和扑克上输给电脑的经历已经够多了。
- 人类更可能动用枪支，因为，嗯，这就是我们的行事方式。DeepMind 的研究表明，电脑只有在开枪属于有效制胜策略时才会开枪；它不会出于反射、恐惧或好玩而开枪。
把开枪作为有效制胜策略的一部分，是否比人类的行为有所改进，由你来判断，但这完全在我的预料之中。DeepMind 并没有靠拒绝采取攻击性行为击败李世石赢得围棋比赛。
即便如此，考虑到我们谈论的只是一场游戏，我也不确定这项实验能说明什么。我预计人工智能会很擅长玩第一人称射击游戏；既然它只是在消灭比特，我看不出它有什么理由要从基本原理推导出阿西莫夫定律。我肯定不会自愿参加一场现实版射击游戏，对手是某个令人胆寒的波士顿动力造物；我也希望没人打算进行这种实验。
同样，我看不出人工智能有什么理由要“学会”认识到，它的世界里有些东西并非只是比特。我们对“机器学习”着迷；但归根结底，机器只会学习我们让它学习的东西。我对奇点论持怀疑态度，但我同意：当电脑能够完全靠自己学会，传感器接收到的某些比特模式代表人类，而且这些比特模式在性质上不同于狗、猫或岩石的比特模式时，我们就将面临一个奇点。
归根结底，我们又回到了起点。对人工智能的恐惧映照出我们对自身的恐惧。人工智能模仿人类行为，是因为我们教它这么做——在这个例子中，我们让它玩一款遵循人类规则的游戏。正如我所说，如果我们想要更好的人工智能，就必须先做更好的人。如果我们希望人工智能能够区分人类和比特，就必须教会它什么是人类，以及在有人类时应如何采取不同的行为。（“你可以射杀狼，但不能射杀人。”）如果我们根本不想让人工智能代理开枪，就必须构建不具备开枪能力的软件。
别给你的人工智能配枪。
