通用人工智能(AGI)时代到来之后:两位人工智能“摇滚巨星”谈它对人类意味着什么

undefined
本内容由人工智能自动翻译。

本文字稿由语音识别软件生成,可能包含错误。请对照音频核实其准确性。

Dario Amodei,Anthropic 首席执行官兼联合创始人: 它将帮助我们治愈癌症,也可能帮助我们根除热带疾病。它将帮助我们理解宇宙。但与此同时,也存在巨大而严重的风险。

Robin Pomeroy,Radio Davos 主持人: 欢迎收听 Radio Davos,这是世界经济论坛推出的播客,探讨最重大的挑战以及我们如何应对。本周的话题是:当人工智能发展为 AGI——通用人工智能——在几乎所有方面都比人类更聪明时,会发生什么?

Demis Hassabis,Google DeepMind 联合创始人兼首席执行官: AGI 到来之后会发生什么?那时我们真的会进入一片未知领域。

Robin Pomeroy: 两位最聪明的人类头脑——Google DeepMind 首席执行官 Demis Hassabis 和 Anthropic 的 Dario Amodei——在达沃斯相聚,围绕一场名为《AGI 之后的那一天》的对话展开交流。

Zanny Minton Beddoes,《经济学人》总编辑: 对我来说,这就像主持一场披头士乐队和滚石乐队之间的对话。

Robin Pomeroy: 《经济学人》总编辑向这两位明星级 AI 创始人提问:对于可能只需几年就会到来的 AGI,我们其他人应该了解些什么?

Zanny Minton Beddoes: 我们能否顺利度过这项技术的青春期,而不毁灭自己?

Dario Amodei: 我认为这确实是一种风险。如果我们共同努力,就能够应对这种风险。通过科学,我们可以学会妥善控制和引导我们正在创造的这些东西。但如果我们把它们打造得不好,如果大家都在竞速,速度快到没有任何护栏,那么我认为就有出问题的风险。

Robin Pomeroy: 那么,AGI 究竟是什么?它何时会出现,又意味着什么?这些内容都将在本期 Radio Davos 中探讨。本节目可在各大播客平台收听,也可访问 wef.ch/podcasts 收听。

我是世界经济论坛的 Robin Pomeroy。接下来,让我们一起展望 AI 与人类的未来……

Demis Hassabis: 接下来会发生什么,由我们人类来书写。

Robin Pomeroy: 这里是 Radio Davos。

欢迎收听 Radio Davos。本周我们将讨论人工智能和通用人工智能。今天和我一起讨论的是联合主持人 Benjamin Larson,他远在旧金山。你好,Benjamin,最近怎么样?

Benjamin Larsen: 你好,Robin,很高兴来到这里。

Robin Pomeroy: 很高兴邀请你参加节目。请介绍一下你在世界经济论坛的工作。

Benjamin Larsen: 我是 AI 安全负责人,在论坛的人工智能卓越中心工作。我常驻旧金山。我们设立了名为人工智能全球联盟的项目,开展多个不同的工作流。我负责其中一个名为“安全系统与技术”的工作流,重点关注前沿模型、系统和 AI 智能体周边的安全、保障等问题。

Robin Pomeroy:你今天来到节目,是为了介绍几周前,也就是 2026 年世界经济论坛达沃斯年会期间举行的一场会议。那场会议在网上被观看了很多次,主角是两位 AI 创始人兼首席执行官。你能给我们介绍一下他们吗?他们是 Dario Amodei 和 Demis Hassabis。他们是谁?为什么值得听听他们的看法?

Benjamin Larsen: 当然可以。Dario Amodei 和 Demis Hassabis 是当今影响先进 AI 发展方向的两位重要领军人物。

Dario 是 Anthropic 的首席执行官兼联合创始人。Anthropic 是领先的 AI 研究公司之一。他此前曾在 OpenAI 工作,最为人熟知的是他对 AI 安全与对齐的关注,以及对打造强大且安全、可控系统的重视。这些议题在 Anthropic 的工作中始终处于核心位置。

Demis 则是 Google DeepMind 的首席执行官兼联合创始人。他最初接受的是神经科学训练。他因多项突破而闻名,例如 AlphaGo——这个系统在 2016 年击败了世界顶尖围棋棋手;他也以科学 AI 领域的成果广为人知,例如 AlphaFold,这是一种预测蛋白质结构的算法。Demis 长期以来都将 AI 视为一个科学项目,旨在理解智能本身。AGI 也正是在这个脉络下进入讨论的。

Robin Pomeroy: 那么,AGI,也就是通用人工智能,是一个定义非常清晰的概念吗?我感觉它可能有好几种定义,或者说有一系列不同的定义。你怎么看?如果我从没听过这个说法,你会怎么向我解释?

Benjamin Larsen: 我想可以这样理解:智能可以是狭窄或特定领域的,也可以是非常通用的。AGI 是“通用人工智能”的缩写,指一种能够理解、学习并运用知识,胜任一系列任务,且能力可与人类相当的系统。

想想我们人类的智能吧,Robin。我们的智能并不局限于一个狭窄而特定的领域。我们能够在物理世界中互动和行动,而这需要广泛而通用的智能。

因此,你可以把它理解为 AI 系统从简单、用途受限的状态,逐步转向能够广泛理解世界,并以与人类非常相似、通用的方式与世界互动和解读世界。

Robin Pomeroy: 过去三年左右,生成式 AI 让很多人眼花缭乱。有人可能会说,其中一些模型看起来已经能做到这些了:你可以向大型语言模型提出任何问题,它的回答听起来也很权威;你还能让它替你完成任务、解决问题或创作内容。某种程度上,这难道不已经算是通用智能了吗?

Benjamin Larsen: 你可以说,某种程度上确实如此。我负责一个名为通用人工智能全球未来理事会的项目,该理事会由 Yoshua Bengio 和日本 AI 安全研究所执行主任 Akiko Murakami 共同主持。我们采用的 AGI 工作定义是:一种能够在一系列数字环境中执行任务、所需认知功能与人类相似的系统。

可以说,有些系统在一定程度上已经能够做到这一点。但这还未必具备“通用性”。一个系统可能擅长执行某项任务,或在某一领域表现出色;但要像人类那样跨领域执行任务、灵活切换任务,则需要大量工程技术工作。

因此,你还不能把任意系统接入任意数字环境,然后告诉它按照某些规范执行这些或那些操作。这种能力目前仍然欠缺,不过我们确实看到了朝这个方向发展的趋势和迹象,而且此刻仍在不断发展。

Robin Pomeroy: 为什么这件事如此重要?有些人还会谈到“奇点”,我不太确定这个词是什么意思,你可以给我们解释一下吗?难道有一天我们醒来,突然发现自己身边都是极其聪明、具备通用智能的机器和 AI?为什么人们如此关注 AGI?我们也常听到许多公司的负责人说,他们正在致力于实现 AGI,也许还存在一场争相实现 AGI 的竞赛。为什么这件事如此重要?

Benjamin Larsen: 先稍微解释一下“奇点”:它指一个假设中的时间点,届时 AI 系统将有能力以人类无法理解或控制的速度自我改进。

在这种情景下,进步会不断加速,可能导致社会迅速发生变化,也可能带来不可预测的变化。

但我认为需要强调的是,并非所有人都相信奇点会出现,至少并非所有人都认为它很快就会出现。有些人也把它视为一种有用的思想实验,用来对各种假设进行压力测试,例如关于指数级增长的假设。另一些人则可能将其视为现实风险,认为我们现在就需要做好准备并采取重要的防护措施。

我之前提到的理事会对 AGI 的看法,更倾向于渐进式的发展路径。我们不会一觉醒来,明天就迎来 AGI,也不会像对奇点的理解那样突然发生。你可以把 AGI 看作一种参差不齐的智能:它能在某些领域表现卓越,甚至超越人类。例如,现有语言模型所蕴含的信息,以及它们近乎像神谕一样作答的能力,就属于这类表现。这与人类的情况大不相同,因为我们的记忆有限,对某些主题的理解也有限。

但在另一些方面,我们反而胜过这些系统。比如我们会问:你怎么连五分钟前我们谈过的内容都记不住?

因此两者之间确实存在差异。眼下的智能可以理解为一种参差不齐的形态:它在某些领域快速发展,在另一些领域却仍然非常有限。

Robin Pomeroy: 接下来要听的内容中,多次提到了一个概念:AI 模型“闭合循环”。你能解释一下这是什么意思吗?

Benjamin Larsen: “闭合循环”指的是从只能生成输出的 AI 系统,转向也能采取行动、观察结果,并据此随时间调整行为的系统。比如今天你给大型语言模型一个提示时,可以说:“好,我输入一个内容,并期待得到一个输出。”而“闭合循环”指的是系统还能采取行动、观察结果,并相应地调整自己的行为,随着时间推移不断适应。

这就更像一个循环,正如我们人类思考、学习和行动的方式。我不会只给出一个答案,还会思考其影响、还需要在哪里寻找更多知识、如何解决任务的一部分;在处理完这些不同环节后,我会回头重新审视最初的任务。这本质上就是闭合循环。

可以说,这其中包含反复迭代,而这很重要,因为它是迈向自主性的一步。你可以想象,如果系统能够闭合这个循环,它就会拥有更高的自主性,进而能够以更多步骤解决特定任务。

当然,也必须强调,如果你确实想闭合这个循环,或希望系统具有更高的自主性,例如用于智能体场景,就会出现新的风险,需要新的治理方式。这正是论坛一直重点关注的工作之一。

Robin Pomeroy: 那么,在闭环环境中,AI 就不再需要任何人类输入了吗?它可以自行行动、学习新事物,并自己决定做什么?还是说我把事情说得太简单了?

Benjamin Larsen: 我认为,以我们目前的发展阶段来说,这么说就走得太远了。不过从更大的图景来看,我们确实已经看到一些例子,比如计算机操控智能体。你可以直接给智能体一台笔记本电脑,让它完成一系列任务;也许你会赋予它一定的自由,让它自行处理一些事情。它可能会继续行动,采取不可预测的操作。

当然,在任何工作场景中,你都不会希望出现这种情况,因为这会带来许多相关风险。

不过也可以说,这些系统目前还比较初级;至于它们的行动有多少是为了求解或优化某个特定问题而有意导向的,仍有差别。这又回到了刚才谈到的奇点概念:行动方向究竟从何而来?是来自一个试图最大化自身目标或目的的算法,还是来自环路中的人类所设定、并由运行系统的人类引导的目标和目的?

我认为,控制程度与我们今天的现实状况之间,存在着根本性的差异。

当然,有些情景需要我们更加认真地思考正在创造什么样的系统。一旦我们拥有了能够像刚才所说那样闭合循环的通用人工智能,结果会是什么?我们又如何控制并确保结果可控?

Robin Pomeroy: 最近出现了一轮炒作热潮。说来也有意思,我现在在日内瓦,你在旧金山,那里总有各种新鲜事发生。偶尔会有一些故事从硅谷这个圈子里传出来,其中一个受到很多人关注的故事是:这个产品改过几次名字,我想最新的版本叫 OpenClaw。

我提起它,是因为你刚才说可以给 AI 一台笔记本电脑,让它自己去做事情。据我了解,这里发生的正是类似的情况,也让一些人兴奋不已。也有很多人对它究竟是什么持怀疑态度。你能给没听说过它的人解释一下,它是什么、为什么会让一些人如此兴奋吗?

Benjamin Larsen:OpenClaw 是它最近一次更名后的名字。它本质上是一种个人 AI 助手。比如说,我开始使用 OpenClaw——它完全开源。我基本上可以拥有一个个人助理,允许它访问我的电子邮件、日历和日程安排。人们第一次有了这样一种设想:个人助理确实能派上用场,也能提供帮助。

当然,它仍然很脆弱,经常会出故障。但 Robin,区别在于,这次是一个开源系统。每个人都可以调整这个智能体、与它互动,并允许它访问个人资源等。相比之下,我们此前看到的许多智能体往往是专有的,当然也是闭源的;这些系统由公司开发,更多针对特定用途等。这是很大的区别。

不过,我们从 OpenClaw 身上也看到了一则警示:一旦开始向早期阶段的智能体开放权限,允许它们访问你的所有系统,就会扩大黑客攻击和恶意活动的攻击面,攻击者能够利用网络安全漏洞等。

我肯定不会觉得舒服,尤其是在那种情况下,让自己的一些个人数据面临暴露的可能。

因此,它反映了未来的发展方向:我们将会看到更多智能体和 AI 助手创新,包括开源领域的创新。

再加上模型上下文协议、智能体对智能体协议等底层协议,我们可以期待未来出现更多发展,不仅涉及 AI 和个人助理,也涉及广义上的智能体,以及它们如何改变底层基础设施的概念,最终形成一个更加智能体化的网络和更多智能体化界面。

这也呼应了我们早先谈到的闭合循环:未来 AI 和软件系统将具有更强的自主性。

Robin Pomeroy: 好了,我们来听听达沃斯的这场会议。主持人是《经济学人》总编辑 Zanny Minton Beddoes。她说自己之前曾和 Dario Amodei、Demis Hassabis 各做过几次访谈,并形容这次就像同时采访披头士乐队和滚石乐队,确实是很好的开场。

不过,在让你离开之前,Ben,你提到了全球未来理事会。这些理事会是世界经济论坛召集的团体,成员来自世界各地,大约有十几位专家。你所在的是全球未来理事会,负责什么领域来着?

Benjamin Larsen: 通用人工智能全球未来理事会。

Robin Pomeroy: 目前人们已经能找到相关资料了吗?还是说之后再关注就好?

Benjamin Larsen: 可以,我们有一个网页,正在发布一些篇幅较短的简报,也就是精要报告。

我们正在研究一些领域,例如我们刚才讨论的智能体自主性和控制;也在研究国际合作是什么样的。我们还在关注 AGI 与政策触发条件。例如,它对劳动力市场、经济和社会转型等会产生什么影响。当然,和接下来大家将听到的这场对话类似,我们也会对这些领域中的若干问题表明立场,帮助利益相关方更好地了解能力日益增强的系统——也就是通用人工智能——在未来会是什么样子,以及我们现在需要采取什么行动,才能做好更充分的准备。

Robin Pomeroy: 我会在节目说明中附上相关链接。

你提到,全球未来理事会的联合主席之一是 Yoshua Bengio。我几周前在达沃斯见过他,并录制了一段访谈。他和我们接下来要听到的两位一样,谈了很多人工智能的危险。他们三位都是非常了解自己谈论内容的人。请留意接下来几周 Radio Davos 将推出的那期节目。

现在,Benjamin Larson,非常感谢你来做客 Radio Davos。

Benjamin Larsen: Robin,很高兴来到这里。

Robin Pomeroy: 好,那我们就来听听那场对话。你也可以观看这场会议,我会附上链接,它发布在世界经济论坛的 YouTube 页面上。会议名为《AGI 之后的那一天》。你首先听到的声音将是《经济学人》总编辑 Zanny Minton Beddoes。

Zanny Minton Beddoes,《经济学人》总编辑: 欢迎各位,也欢迎通过直播加入这场对话的朋友们。我得说,我已经期待这次交流好几个月了。

去年我有幸在巴黎主持了 Dario Amadei 和 Demis Hassabis 的一场对话。遗憾的是,大家对那场对话的关注,大多集中在你们两位挤坐在一张很小的双人沙发上,而我却坐在一张巨大的沙发上——这大概是我的失误。

不过,我当时说过,对我来说,这就像主持一场披头士乐队和滚石乐队之间的对话。而你们之后一直没有同台交流。所以,这就是续篇,两支乐队再次聚首,我很高兴。两位无需介绍。今天对话的标题是《AGI 之后的那一天》,我觉得这个标题或许有点操之过急,因为我们应该先谈谈实现 AGI 会有多快、多容易。然后我想先更新一下进展,再谈谈后果。

首先谈谈时间线。Dario,你去年在巴黎时说,到 2026 或 2027 年,我们将拥有一种模型,能够在许多领域达到诺贝尔奖得主的水平,完成人类能做的一切。现在已经是 2026 年了。你仍然坚持这个时间线吗?

Dario Amodei,Anthropic 首席执行官兼联合创始人: 你知道,要准确判断一件事何时会发生总是很难,但我认为实际情况不会偏离这个预测太远。

我设想的实现机制是,我们会打造擅长编程和 AI 研究的模型,再用这些模型来开发下一代模型、加快开发速度,从而形成一个提高模型开发速度的循环。

就目前能编写代码的模型而言,Anthropic 有些工程师告诉我:“我现在已经不写代码了,只让模型来写。我会编辑代码,并处理相关工作。”

我想,也许再过六到十二个月,模型就能端到端完成软件工程师所做的大部分工作,甚至全部工作。

接下来就要看这个循环会以多快的速度闭合。循环中的某些环节并不能通过 AI 加速,对吧?比如芯片、芯片制造,还有模型的训练时间。

所以,我认为存在很多不确定性。很容易想象这可能需要几年时间。我觉得很难想象会比这更久。

但如果要我猜,我会猜进展会比人们想象的更快;而代码以及日益加快的研究进程,正是其中的关键因素,它们会比我们想象的更快,这将是主要驱动力。

确实很难预测这种指数级增长会在多大程度上加快我们的步伐。但事情会发展得很快。

Zanny Minton Beddoes: Demis,去年你的态度稍微谨慎一些。你说,到本世纪末,出现一种能够展现人类所有认知能力的系统的概率为50%。显然,正如Dario所说,在编程方面的进展令人瞩目。你现在怎么看?你仍坚持自己的预测吗?过去一年有什么变化?

Demis Hassabis: 是的,我觉得我的时间判断大致没有改变。进展确实令人瞩目,但我认为有些领域的工程工作,比如编程,也可以说数学,更容易看出它们将如何实现自动化,部分原因在于产出可以验证。

自然科学的一些领域要难得多。你不一定能知道自己构建的化合物或对物理学作出的预测是否正确,可能必须通过实验来检验。这一切都会花更长时间。

我还认为,目前缺少一些能力:不只是解决现有猜想或问题,还要能提出问题本身,或提出理论、假设。我认为这要难得多,也是科学创造力的最高层次。

目前还不清楚。我认为我们会拥有这样的系统。我不认为这不可能,但可能还缺少一两个关键要素。

还有待观察的是,首先,我们都在努力构建的这种自我改进循环,究竟能否在没有人类参与的情况下真正闭合?顺便说一句,这类系统也有风险,我们应该讨论这些风险,我相信我们会谈到。但如果这种系统确实能运作,就可能加快进展。

Zanny Minton Beddoes: 我们稍后会谈风险,不过我认为过去一年还有一项变化,就是这场竞赛的排名格局似乎有所改变。一年前的这个时候,DeepSeek时刻刚刚到来,大家对那里的进展兴奋不已。当时人们仍觉得Google DeepMind有些落后于OpenAI。

我觉得现在的情况看起来很不一样了。他们已经宣布进入红色警戒,对吧?

这一年确实发生了很多事。请谈谈具体有哪些事情让你感到意外,你们今年表现如何,以及你是否认为——接下来我要问问你们的阵容。

Demis Hassabis: 我一直很有信心,我们会重新回到排行榜顶端,在各方面都推出最先进的(SOTA)模型,因为我认为我们的研究团队一直拥有最深厚、最广泛的实力。关键在于把这些力量统筹起来,让整个组织重新找回强度、专注力和创业公司的心态。

我们付出了很多努力,也还有很多工作要做。但你已经可以看到取得的进展:模型方面有Gemini 3,产品方面则是Gemini应用的市场份额不断提升。

我觉得我们进展很不错,但还有大量工作要做。我们正在让Google DeepMind成为Google的引擎室,也越来越习惯于把模型快速部署到各类产品中。

Zanny Minton Beddoes: Dario,关于这一点我想问你一个问题,因为你们刚刚完成融资,或者正在进行新一轮融资,估值也高得惊人。但和Demis不同,你可以说是一家独立模型公司的创始人。我认为,越来越多人担心独立模型公司无法维持足够长的时间,撑不到收入真正到来的时候。

人们公开谈论OpenAI时常这么说。请谈谈你怎么看,然后我们再谈AGI本身。

Dario Amodei: 是的,我的意思是,我们的看法是,随着模型不断变得更好,投入模型的算力与其认知能力之间,以及模型的认知能力与它能创造的收入之间,都呈现出一种指数级关系。

因此,过去三年,我们的收入增长了10倍:2023年从零增长到1亿美元,2024年从1亿美元增长到10亿美元,2025年从10亿美元增长到100亿美元。我不知道这条曲线是否会真的延续下去;如果会,那将很不可思议。但这些收入数字开始逼近全球最大公司的规模。

不确定性始终存在。我们正试图从零开始把这件事做起来,这很疯狂,但我相信,只要我们能在专注的领域打造出最好的模型,事情就会顺利发展。

我通常会说,Google和Anthropic今年都表现不错。我认为我们真正的共同点是,两家公司及其研究部门都由专注于模型的研究人员领导,他们致力于解决世界上的重要问题,并把这些艰深的科学问题作为指引方向的北极星。

我认为,未来能够成功的就是这类公司。我们两家公司都有这个共同点。

Zanny Minton Beddoes: 我忍住不问那些并非由研究人员领导的公司会怎么样,因为我知道你不会回答。

那我们就来谈谈预测。我们本来应该讨论“AI之后的日子”,但还是先谈谈闭环吧。

模型闭合循环、能够自我驱动的可能性有多大?这才是赢家通吃式门槛的核心所在。

你们仍然认为有可能看到这种情况吗?还是说,这项技术会更像一种普通技术,后来者和追赶者也能参与竞争?

Demis Hassabis: 我绝对不认为这会是一种普通技术。我的意思是,正如Dario所说,它已经在帮助我们编程,也在协助部分研究工作。

不过,能否完全闭合循环仍是未知数。我认为这有可能实现。在某些领域,你可能需要AGI本身才能做到。

对于这些领域,周围的情况更加复杂,很难迅速验证答案。它们属于NP难领域。因此,随着系统能力越来越强——顺便说一句,我也把实体AI、机器人等纳入AGI的范畴——如果硬件也在循环之中,就可能限制自我改进系统的运作速度。但我确实能想象这种做法在编程、数学等领域奏效。接下来更偏理论的问题是,工程和数学的能力极限在哪里,能否解决自然科学问题。

Zanny Minton Beddoes: Dario,我想是去年吧,你发表了《爱的恩典之机器》,这篇文章对你认为即将展现的潜力相当乐观。有人告诉我,你正在准备更新版,也就是一篇新文章。所以大家注意,它还没发表,但很快就会推出。你能否先透露一点,一年之后你对这件事的主要看法会是什么?

Dario Amodei: 是的,我的看法没有改变。我一直认为AI将会极其强大。我觉得Demis和我对此意见一致,区别只在于究竟何时到来。

正因为它极其强大,所以会带来所有这些美好成果,比如我在《爱的恩典之机器》中谈到的那些。它将帮助我们治愈癌症,或许能帮助我们消灭热带疾病,还能帮助我们理解宇宙。但它也带来巨大而严重的风险。不是说我们无法应对,我不是末日论者,但我们需要认真思考这些风险,并设法应对。

我先写了《爱的恩典之机器》。我很想说出一个高深的理由,解释为什么先写了那篇,但其实只是因为正面文章比负面文章更容易写,也更有趣。所以我终于抽出一些时间度假,写了一篇关于风险的文章。即使在写风险时,我也尽量保持乐观,因为我就是个乐观的人。所以我写这些风险时,思路是:我们怎样才能克服它们?怎样制定作战计划来应对?

我采用的框架来自卡尔·萨根小说《接触未来》的电影版中的一个场景。人们发现了外星生命,成立了一个国际小组,面试候选人,选出代表人类与外星人会面的人。他们问其中一位候选人:“如果你能问外星人一个问题,你会问什么?”一个角色回答说:“我会问:你们是怎么做到的?你们如何度过技术发展的青春期而没有自我毁灭?你们是怎么挺过来的?”

我记得大概20年前看过那部电影,从那以后,这个问题就一直留在我心里。我采用的正是这个框架:我们正在叩响这些非凡能力的大门,对吧?我们能够用沙子制造机器。我认为,从我们开始使用火的那一刻起,这一切就已不可避免。但我们如何应对,并非命中注定。因此,未来几年,我们要面对的问题是:如何控制这些高度自主、比任何人类都聪明的系统?如何确保个人不会滥用它们?我担心生物恐怖主义之类的问题。我们怎样才能确保民族国家不会滥用它们?这就是我如此担心中共以及其他威权政府的原因。经济影响又会如何?我谈过很多劳动力被取代的问题。

还有哪些问题是我们尚未想到的?在许多情况下,这可能是最难处理的。

我正在思考如何应对这些风险。对于每一项风险,我们作为公司领导者,既要各自采取行动,也可以携手合作。

此外,还需要更广泛的社会机构参与,例如政府,共同应对所有这些问题。

我只是觉得时间紧迫。外部世界每天都有各种疯狂的事情发生,AI领域之外也是如此。但我的看法是,这一切发展得太快,已构成一场危机,我们几乎应该把所有精力都用来思考如何度过这一关。

Zanny Minton Beddoes: 我不知道哪一点更让我意外:第一,你会去度假;第二,你度假时会思考AI的风险;第三,你的文章以这样一个问题为框架:我们能否度过这项技术发展的青春期而不自我毁灭?

我现在脑子有点转不过来了。不过你刚才提到了几个方面,可以引导我们接下来的谈话。

先谈就业吧。你一直很直言不讳,我记得你说过,未来一到五年内,一半的初级白领岗位可能会消失。

不过我先问Demis,因为迄今为止,我们还没有看到劳动力市场受到任何明显影响。没错,美国失业率略有上升,但我看过并且我们也报道过的所有经济研究都表明,这是疫情后招聘过度所致,确实不是AI驱动的。如果说有什么影响,反而是人们正在招聘人员来建设AI能力。

你是否认为,事情会像经济学家一直主张的那样发展——这不是“劳动总量谬误”,实际上会创造新的工作岗位?目前的证据似乎确实支持这一点。

Demis Hassabis: 我认为,短期内确实会如此,这就是突破性技术出现时的正常演进过程。有些岗位会受到冲击,但我认为新的岗位会出现,它们或许更有价值,也可能更有意义。

我认为,今年我们会看到一些迹象,初级岗位、入门级岗位和实习岗位可能会受到影响。我觉得已有一些证据,我自己也能感受到,比如招聘可能有所放缓。

但这可能会被另一种情况充分抵消:如今有许多出色的创意工具,几乎人人都能使用,价格也几乎免费。如果我现在要对一班本科生讲话,我会告诉他们,要熟练掌握这些工具,达到令人难以置信的程度。我认为,即便是我们这些开发工具的人,也忙于开发,很难抽出时间真正探索现有模型和产品尚未释放的潜能,更不用说未来的产品了。掌握这些工具,或许比传统实习更有用,能让你更快进入一个有价值的职业领域。

我认为,未来五年大概会是这种情况。我们在时间尺度上可能仍略有分歧。但AGI到来之后会怎样,那是另一个问题。我确实认为,届时我们会进入未知领域。

Zanny Minton Beddoes: 你认为这会比你去年说一半初级白领工作岗位会消失时预想的更久吗?

Dario Amodei: 我的看法基本相同。其实我同意你和Demis的观点:我发表那番言论时,劳动力市场还没有受到影响。我当时并不是说劳动力市场已经受到影响。

现在我认为,我们或许开始看到一点初步迹象,尤其是在软件编程方面。我甚至在Anthropic内部也看到了:我能想象未来初级岗位,接着是中级岗位,都不再需要更多人,反而需要更少的人。我们正在考虑如何在Anthropic内部以合理的方式应对。

六个月前,我会坚持一到五年的判断。你知道,如果把这和我之前说的话联系起来——AI或许一到两年内,或者稍久一些,就会在所有事情上胜过人类——这两者似乎对不上。原因在于存在时间滞后,也存在岗位替代过程,对吧?我知道劳动力市场有适应能力,就像过去80%的人从事农业,农业实现自动化之后,他们成为工厂工人,后来又成为知识工作者。因此,劳动力市场也有一定的适应能力。我们应该从经济学角度审慎地理解劳动力市场如何运作。

但我担心的是,随着这种指数级增长不断累积——我认为这不会花太久,仍然是未来一到五年内的事——它会超过我们的适应能力。

我想我和Demis说的是同一件事,只要把我们在时间判断上的分歧考虑进去;归根结底,这取决于编程领域的闭环能多快实现。

Zanny Minton Beddoes: 你有多大把握认为各国政府了解这件事的规模,并且已经开始思考需要采取哪些政策应对?

Demis Hassabis: 我认为,目前对此投入的研究远远不够。我常常感到惊讶,即使在这样的场合遇到经济学家,他们也没有更多人是职业经济学家或教授,认真思考接下来会发生什么。

而且不只是通往AGI的过程中会发生什么。即使我们把Dario所说的所有技术问题都处理妥当,仍会面临岗位被取代的问题。我们都担心其经济影响,但或许可以找到办法,更公平地分配新增的生产力和财富。我不知道我们是否拥有适当的制度来做到这一点,但届时应该努力实现。我们或许会进入一个后稀缺世界。

但让我夜不能寐的还有更大的问题,那就是意义和目标。我们从工作中获得的很多东西,并不只是经济回报。经济问题或许反而更容易解决,奇怪的是,真正的难题可能是人类的处境,以及整个人类将会怎样。

我也乐观地认为,我们会找到新的答案。如今我们会做很多事情,比如极限运动、艺术创作,并非直接为了经济收益。我认为我们会找到意义,也许这类活动还会出现更精妙的形式。此外,我认为我们会探索星际空间,这也会成为人生目标的一部分。

不过,我认为即使按我对五到十年后才会发生的判断,现在也确实值得思考。离这一切到来已经没有多少时间。

Zanny Minton Beddoes: 你认为公众对AI产生反弹的风险有多大?这种反弹会不会以某种方式导致政府采取从你们角度看可能很愚蠢的措施?我想到的是20世纪90年代全球化时期。当时确实有一些岗位被取代,政府没有采取足够行动,公众的反弹如此强烈,结果我们就走到了今天这一步。你认为,政界对你们正在做的事以及你们公司日益反感,这种风险是否存在?

Demis Hassabis: 我认为这种风险确实存在,也完全可以理解。人们会害怕,也会担忧工作和生计等问题。未来几年,无论是地缘政治层面,还是其他各种因素,情况都会非常复杂。比如,我们希望并且正在通过AlphaFold、科学研究以及我们的分拆公司Isomorphic来解决所有疾病、治愈疾病、找到新的能源。我认为,作为社会,我们显然希望实现这些目标。

我认为,整个行业所做的事情可能还不够平衡,没有充分倾向这类工作。我知道Dario也同意,我们应该有更多类似AlphaFold的例子,带来明确无疑的福祉。

我认为,行业和我们这些领军者有责任更多地展示这些成果,不只是谈论,而是拿出实际成果。

但与此同时,还会伴随其他影响深远的冲击。另一个问题是地缘政治竞争。公司之间显然存在竞争,主要还包括美国和中国之间的竞争。因此,我们需要围绕这项技术开展国际合作并达成共识,比如制定部署时的最低安全标准。我认为Dario也会赞同这一点,而且这至关重要。这项技术将跨越国界,影响每一个人,影响全人类。顺便说一句,《接触未来》也是我最喜欢的电影之一。所以有趣的是,我不知道Dario也喜欢这部电影;但我认为这些问题都需要认真处理。

如果可能的话,稍微放慢目前预计的进度也许是件好事,包括按我的时间判断也是如此,这样我们就能让社会做好准备。但这需要协调合作。

Dario Amodei: 我更喜欢你的时间判断。我认同。

Zanny Minton Beddoes: Dario,我们现在就谈谈这一点吧。自从上次我们在巴黎交谈以来,地缘政治环境变得——我不知道该怎么说——更复杂、更疯狂、更混乱,随便你用哪个词。

其次,美国如今对中国的态度截然不同。现在采取的方式更像是不设限制、能跑多快就跑多快,但随后又向中国出售芯片。

情况就是如此。美国的态度变了。当前美国与欧洲之间的地缘政治关系也相当奇怪。

对此,我的意思是,我听你谈到,建立一个类似欧洲核子研究中心(CERN)的组织会很不错。可这距离我们所处的现实世界,简直还有百万年。

那么,回到现实世界,地缘政治风险是否增加了?你认为应该采取什么措施(如果有的话)?而政府似乎正在采取与你建议相反的做法。

Dario Amodei: 是啊,我的意思是,你知道,我们只是在尽力而为。我们只是一家公司,只能努力在现有环境中运作,不管这个环境有多么疯狂。

不过,我认为至少我的政策建议没有改变。停止出售芯片,是我们能够采取的最重要措施之一,可以确保我们有时间应对这一切。

你知道,我之前说过,我更认同 Demis 的时间表。我希望我们还有五到十年。所以,他可能是对的,而我错了;但假设我是对的,这件事一两年内就可能实现。我们为什么不能放慢脚步,按照 Demis 的时间表来呢?

Zanny Minton Beddoes: 嗯,你们只要放慢速度就行。

Dario Amodei: 嗯,不是这样的。我们之所以做不到,是因为地缘政治对手正在以相近的速度开发同样的技术。要达成一项可执行的协议,让他们和我们都放慢脚步,实在很难。

所以,如果我们只是不卖芯片,这就不是美国和中国之间的竞争,而是我和 Demis 之间的竞争;我非常有信心,我们能够解决这个问题。

Zanny Minton Beddoes: 你怎么看政府的逻辑?据我理解,他们认为,我们需要向他们出售芯片,因为这样才能把他们纳入美国供应链。

Dario Amodei: 我认为,问题不只是时间尺度,还涉及这项技术的重要性,对吧?

如果这是电信技术之类的东西,那么关于推广美国技术体系、希望把我们的芯片带到世界各地的种种说法——确保世界各地那些互不相关的国家建造的数据中心使用英伟达芯片,而不是华为芯片——或许还说得通。但我更愿意把这看作一个决定:我们会不会因为这能给波音带来一些利润,就向朝鲜出售核武器?然后我们还可以说:“好吧,这些东西是波音制造的。美国赢了。这太棒了。”这个类比应该能清楚说明我如何看待这种权衡:我就是觉得这说不通。我们对中国以及其他参与方采取过许多更强硬的措施;我认为,那些措施的效果远不如这一项。

Zanny Minton Beddoes: 我还想谈最后一个方面,然后希望我们能留出时间回答一两个问题。

末日论者担心的另一种潜在风险,是一种无所不能的恶意人工智能。我认为你们两位对末日论的看法都多少有些怀疑,但在过去一年里,我们看到这些模型展现出欺骗和两面性的能力。

你们现在对这种风险的看法和一年前相比有变化吗?模型的发展方式是否有某些特点,让我们应该对此更加担忧?

Dario Amodei: 是啊,自 Anthropic 创立之初,我们就在思考这种风险。

一开始,我们的研究非常理论化。我们率先提出了“机制可解释性”这一思路,也就是观察模型内部,试图了解它为何会有这样的行为,就像人类神经科学家——我们两人其实都有相关背景——试图了解大脑一样。

随着时间推移,我们越来越多地记录模型出现的不良行为,现在也在运用机制可解释性,努力解决这些问题。

所以,我一直都很担心这些风险。我和 Demis 谈过很多次。我认为他也一直担心这些风险。

我确实对末日论持怀疑态度;我猜 Demis 也是如此,不过还是让他自己来说。末日论的意思是,我们注定要灭亡,什么也做不了,或者这是最有可能出现的结果。

我认为这是一种风险,但如果我们齐心协力,就能应对。我们可以通过科学研究,学会恰当地控制和引导我们创造的这些事物。但如果我们设计不当,大家都在竞相开发,速度快到没有任何防护措施,我认为就有可能出问题。

Zanny Minton Beddoes: 我想把这个问题稍微拓宽一点,给你机会回答:过去一年里,你对这项技术在潜力、科学以及你们常谈到的所有领域中的积极作用,是否更有信心了?还是说,你对我们刚才讨论的风险更加担忧了?

Demis Hassabis: Zanny,我从事这项工作已有二十多年。我早就知道这项技术的优势所在;我整个职业生涯都投入人工智能,原因就是它能成为科学研究以及理解我们周遭宇宙的终极工具。从小我就对此着迷。如果以正确的方式开发人工智能,它就应该成为实现这一目标的终极工具。

至少从 DeepMind 创立之初,也就是十五年前,我们就在思考风险。我们当时也预见到,获得这些优势的同时,这也是一种双重用途技术。因此,它可能被不法分子挪作他用,达到有害目的。我们一直都必须考虑这一点。

但我非常相信人类的创造力。问题在于,我们是否有时间、专注力,以及所有最优秀的人才共同合作来解决这些问题。我确信,如果我们能做到,就能解决技术风险问题。也可能我们做不到,这就会带来风险:我们会四分五裂,出现各自为政的项目,大家彼此竞逐。那样一来,就更难确保我们打造的系统在技术上是安全的。不过我觉得,只要我们有时间和空间,这个问题完全可以解决。

Zanny Minton Beddoes: 我想确保至少有一个问题。各位先生,请尽量简短,因为我们真的只剩两分钟了。

观众: 非常感谢。我叫 Philip,是 Starcloud 的联合创始人,我们正在太空建造数据中心。我想问一个稍微偏哲学的问题。对我来说,支持末日论的最有力论据之一是费米悖论,也就是我们在银河系中看不到智慧生命。我想知道你们对此有什么看法?

Demis Hassabis: 我对此思考过很多。这不可能是原因,因为我们应该能看到所有已经出现的人工智能。简单解释一下这个想法:原因其实不太清楚,对吧?如果费米悖论的原因是外星文明被自己的技术毁灭了,那我们应该能看到银河系某处有回形针朝我们飞来。但显然我们没有看到。

我们看不到任何结构——戴森球也没有——不管它们是人工智能造的、自然形成的,还是生物建造的。在我看来,费米悖论一定有别的答案。我有自己的理论,不过下一分钟里没时间展开。

不过,我的感觉是,我们已经越过了大过滤器。如果非要猜,我会说那可能是多细胞生命的出现。生物进化出多细胞结构极其困难。因此,我们不能因此就对接下来会发生什么感到安心。我认为,接下来会发生什么,要由我们人类来书写。

Zanny Minton Beddoes: 这会是一次很精彩的讨论,但接下来的 36 个环节都没时间聊了。不过,接下来的问题还有时间:每人 15 秒。希望我们三人明年再见时——我很期待——会有哪些变化?

Dario Amodei: 最值得关注的,是人工智能系统构建人工智能系统这个问题。进展如何、走向何方,将决定我们是再过几年才能实现目标,还是将面临奇迹般的进展,以及一个必须应对的重大紧急局面。

Zanny Minton Beddoes: 人工智能系统构建人工智能系统。

Demis Hassabis: 我同意这一点,所以我们一直在密切交流这方面的情况。

除此之外,我认为还有其他有趣的研究方向,比如世界模型、持续学习。我觉得,如果自我改进本身无法带来突破,我们就必须攻克这些问题,让其他方法奏效。然后,像机器人技术这样的领域或许也会迎来突破时刻。

Zanny Minton Beddoes: 不过,按照你们刚才说的,我们或许都该希望你们以及其他所有人再多花一点时间,给我们留出更多时间。

Demis Hassabis: 我更希望如此。我觉得那样对世界更好。

Zanny Minton Beddoes: 好吧,你们两位可以为此做点什么。非常感谢二位。

Robin Pomeroy: Zanny Minton Beddoes 在 2026 年达沃斯世界经济论坛年会上与 Demis Hassabis 和 Dario Amodei 进行了对话。你可以在我们的网站或 YouTube 频道观看这场会议,链接见节目说明。

达沃斯期间还有许多精彩对话像这场一样进行了现场直播,你可以随时回看。我们也会在姊妹播客节目《Agenda Dialogues》中发布其中许多内容,可在各大播客平台收听。

若想进一步了解论坛人工智能卓越中心、人工智能全球联盟以及通用人工智能全球未来理事会的工作,也请点击节目说明中的链接。

别错过我对人工智能教父 Yoshua Bengio 的采访,了解他如何努力应对这项技术带来的风险。节目即将于《Radio Davos》播出。请在你收听播客的平台关注我们,或访问 wef.ch/podcasts;你还会在那里找到《Meet the Leader》,接下来几周也会陆续推出一些达沃斯精彩访谈。

本期《Radio Davos》由我 Robin Pomeroy 主持、制作和剪辑,我的同事 Benjamin Larsen 也参与制作。录音室制作由 Taz Kelleher 负责。

《Radio Davos》下周再见。感谢收听,再见。

通用人工智能(AGI)是指未来机器几乎能在所有方面胜过人类的阶段。它何时会实现?会是什么样子?又会对人类产生什么影响?

当今人工智能领域最杰出的两位思想者——Google DeepMind 联合创始人兼首席执行官 Demis Hassabis,以及 Anthropic 联合创始人兼首席执行官 Dario Amodei——与《经济学人》总编辑 Zanny Minton Beddoes 展开对话。

世界经济论坛人工智能专家 Benjamin Larsen 为对话作引介,并为我们介绍通用人工智能的基础知识。

你可以在此观看 2026 年达沃斯年会上的对话:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。