人工智能驱动的机器将超越人类、接管世界并杀死我们所有人——这是反乌托邦科幻作品中的常见主题——鉴于人类仍牢牢掌控局面，这种看法很容易被一笑置之。但许多人工智能专家认真看待这种末日观点，他们这样做是有道理的。
人工智能近期取得的进展堪称惊人。从交通运输、医疗到国防，人工智能正在改变社会几乎所有领域。因此，值得思考的是，当它比现在更加先进时，会发生什么。
末日论认为，人工智能驱动的机器将超越人类、接管世界并杀死我们所有人。这种情景常见于科幻作品中，鉴于人类仍牢牢掌控局面，很容易被一笑置之。但许多人工智能专家认真看待这种末日观点，他们这样做是有道理的。社会其他群体也应如此。
要理解其中的利害关系，不妨看看“狭义人工智能”与“通用人工智能”（AGI）之间的区别。狭义人工智能一次只能在一个或少数几个领域运行，因此，尽管它可能在某些特定任务上胜过人类，但仍受人类控制。
相比之下，通用人工智能能够跨广泛领域进行推理，因此可能复制人类的许多智力技能，同时保留计算机的所有优势，例如完美的记忆检索能力。在先进的计算机硬件上运行时，通用人工智能的认知能力可能超过人类。事实上，我们很难设想通用人工智能的能力上限会在哪里。
目前，大多数人工智能都属于狭义人工智能。事实上，即使是当前最先进的系统，其通用性也相当有限。例如，Google DeepMind的AlphaZero系统虽然掌握了围棋、国际象棋和将棋，因此比只能用于某一特定活动的大多数其他人工智能系统更具通用性，但它展现出的能力仍仅限于某些高度结构化棋类游戏的有限范围内。
许多见多识广的人不相信先进通用人工智能会成为现实。例如，塞尔默·布林约德（伦斯勒理工学院）和德鲁·麦克德莫特（耶鲁大学）认为，人工智能不可能超越人类。另一些人，例如玛格丽特·A·博登（萨塞克斯大学）和奥伦·埃齐奥尼（艾伦人工智能研究所），则认为人类水平的人工智能或许会在遥远的未来实现，但现在就为此担忧还为时过早。
这些怀疑者并非无足轻重的人物，也不是那些试图质疑气候变化科学的怪人。他们是计算机科学及相关领域的杰出学者，其观点必须得到认真对待。
然而，其他杰出学者——包括戴维·J·查尔默斯（纽约大学）、耶鲁大学的艾伦·达福和斯图尔特·罗素（加州大学伯克利分校）、尼克·博斯特罗姆（牛津大学）以及罗曼·扬波尔斯基（路易斯维尔大学）——确实担心通用人工智能可能对人类构成严重威胁，甚至生存威胁。既然专家在这场辩论中各执一词，我们其他人也应保持开放态度。
此外，通用人工智能是大量研发工作的重点。我最近完成了一项关于通用人工智能研发项目的调查，在六大洲的30个国家发现了45个此类项目。许多活跃项目由百度、Facebook、Google、Microsoft和腾讯等大型企业，以及卡内基梅隆大学、哈佛大学、斯坦福大学和中国科学院等一流高校和机构开展。简单地认定这些项目全都不会成功，是不明智的。
思考通用人工智能潜在威胁的另一种方式，是将其与其他灾难性风险进行比较。20世纪90年代，美国国会认为有必要让美国国家航空航天局（NASA）追踪可能撞击地球的大型小行星，尽管这种情况发生的概率约为每个世纪五千分之一。根据研发进展的速度和专家担忧的强烈程度，通用人工智能在未来一个世纪引发灾难的概率可能高达百分之一，甚至十分之一。
那么，问题是该如何应对。首先，我们需要确保研发工作以负责任、安全且合乎道德的方式开展。这需要人工智能领域从业者与政策制定者、社会科学家和关切此事的公民展开更深入的对话。业内人士了解这项技术，也将负责按照商定的标准设计它；但这些标准不能由他们单独决定。许多开发人工智能应用的人不习惯思考其工作带来的社会影响。要改变这一点，他们就必须接触外部视角。
政策制定者还必须应对通用人工智能的国际层面问题。目前，通用人工智能研发工作大多在美国、欧洲和中国开展，但许多代码都是开源的，这意味着相关工作理论上可以在任何地方进行。因此，制定标准和道德基本规则，归根结底是整个国际社会的职责，不过研发中心应发挥带头作用。
展望未来，应对通用人工智能风险的一些举措，可以借助已经为狭义人工智能制定的政策措施，例如由马里兰州民主党籍国会议员约翰·德莱尼发起的新两党人工智能核心小组。在应对近期人工智能风险的人士与着眼长远的人士之间，有许多协同合作的机会。
但无论是将狭义人工智能与通用人工智能一并考虑还是分别看待，最重要的是现在就采取建设性行动，尽量降低未来发生灾难的风险。我们不能指望在最后一刻才完成这项工作。
