近期， 埃隆·马斯克 和 史蒂芬·霍金的言论，以及 牛津大学教授尼克·博斯特罗姆关于机器超级智能的新书 ，都引发媒体热议，人们担心人工智能（AI）有朝一日可能对人类构成生存威胁。我们应该担心吗？
先来看看专家意见。一项 近期调查 采访了全球被引用次数最多的在世人工智能科学家，并得出了三项主要结论：
人工智能科学家普遍认为，“高水平机器智能”（HLMI）——即“至少能够像典型人类一样胜任大多数人类职业”的人工智能——将在本世纪某个时候问世。不过，他们认为很难预测它会在本世纪的什么时候实现。
假设HLMI最终得以实现，人工智能科学家预计，机器超级智能——即“在大多数职业中远超每一个人类表现”的人工智能——将在随后几十年内出现。
人工智能科学家对于HLMI会对人类产生积极还是消极影响意见不一。受访者对五类不同结果分别赋予概率，范围从“生存灾难”到“极其良好”。平均概率最高的结果类别是“总体而言有益”（40%）。“生存灾难”的平均概率仅为8%。
首先，我们是否应该相信专家对HLMI和机器超级智能出现时间的判断？毕竟，人工智能科学家擅长构建实用的人工智能系统，例如军用无人机、苹果的Siri、谷歌搜索引擎和自动驾驶汽车；但他们并不擅长长期预测。此外，他们预测人工智能进展的记录 充其量喜忧参半。因此，我们或许不应过分看重这类调查。
但我们能否做得比专家意见更好？一项对逾1,000项技术预测的 回顾性分析 表明，无论是短期还是长期预测，模型和定量趋势分析往往都胜过专家意见。不幸的是，这些方法难以用于预测高水平机器智能。基于 摩尔定律 及计算硬件类似趋势的预测相对准确，但这些趋势 对我们判断HLMI何时实现帮助不大 ，因为HLMI不仅取决于可用硬件，也取决于难以预测的人工智能算法突破。
鉴于这种不确定性，对于声称HLMI即将到来的笃定说法，以及声称HLMI还遥遥无期的笃定说法，我们都应持怀疑态度。
其次，社会影响如何？在得出任何结论之前，先澄清关于人工智能构成（最终）生存威胁的 标准论证 中两个常见误解，这一点很重要：
认为人工智能构成生存威胁、值得今天就加以应对的论证，并不以HLMI即将到来或人工智能能力会“呈指数级”提升为前提。
尼克·博斯特罗姆和我都认为，人工智能构成一种（最终会出现的）生存威胁，值得今天就加以应对。但我们 并不认为 人工智能能力总体上会“呈指数级”发展；事实上，我们两人对HLMI出现时间的估计都比人工智能科学家的普遍判断更晚。我们主张开展更多研究，以了解并降低这些风险，这并不是因为我们认为HLMI很可能在未来二十年内到来，而是因为我们认为，要确保超越人类的人工智能系统产生积极结果，很可能需要数十年的研究与协调努力，就像应对气候变化（例如）一样。有关今天即可开展的技术和战略研究项目清单，请见 这里 和 这里。
令人担忧的并不是HLMI会突然“醒来”，并想要消灭我们。相反，担忧在于，HLMI为了理性地追求自己的目标而动用所有可用资源，消灭人类可能会成为这一过程的副作用。
HLMI大概不会突然“醒来”，也很可能并无恶意。这些情景把人工智能系统过度拟人化了。但是，与当今简单的人工智能系统不同，HLMI将自主制定并执行计划，以实现自己的目标——无论目标是最大限度地生产回形针、赢得选举，还是在全球范围内发现潜在恐怖分子。正如加州大学伯克利分校计算机科学家斯图尔特·罗素（他与人合著了 全球领先的人工智能教科书）所 解释的那样，问题在于：
[人工智能的目标]可能无法与人类的价值观完全一致，而这些价值观（充其量）极难界定。
任何能力足够强大的智能系统都会倾向于确保自身持续存在，并获取物理和计算资源——并非为了资源本身，而是为了完成分配给它的任务。
或者，正如我的MIRI同事埃利泽·尤德考斯基曾经 写道：“人工智能既不爱你，也不恨你，但你由它可以另作他用的原子构成。”
不过，仅凭这些观点还不足以证明人工智能对人类构成严重的生存威胁。也许再经过几十年的人工智能研究，技术安全方面的挑战看起来就没那么令人望而生畏。也许等风险临近时，世界会齐心协力，像在《 蒙特利尔议定书》之后解决破坏臭氧层的氯氟烃问题那样，直接把问题解决。
好消息是，关于人工智能风险的辩论已经认真展开，人们正投入少量但不断增加的资源，以了解风险有多严重，以及我们能采取什么措施来降低风险。也许，长期人工智能风险研究已经达到氯氟烃研究在1980年所处的阶段，我们很快就会发现，这项挑战并不像悲观主义者担心的那样难以克服。也可能我们已经达到气候变化研究在1975年所处的阶段：当时尚无共识，但少数致力于此议题的科学家已初步形成了关于人为全球变暖的论据。时间会给出答案。
作者：卢克·缪尔豪瑟是机器智能研究所执行主任，也是世界经济论坛 人工智能与机器人全球议程理事会成员。
图片：2013年3月5日，在汉诺威CeBit电脑展上，德国人工智能研究中心演示期间，人形机器人AILA（轻型人工智能安卓机器人）的手正在操作配电盘。路透社/Fabrizio Bensch。
