本文稿由语音识别软件生成,可能包含错误。请对照音频核实其准确性。
Yoshua Bengio,蒙特利尔大学计算机科学教授:人工智能是从经验中学习的,它更像是在教育一只幼年动物或一个幼儿。我们并不真正知道会得到什么结果。一只可爱的小老虎崽子看起来既讨喜又有趣,但你无法知道它将来会长成危险的成年老虎,还是友善的成年老虎。
Robin Pomeroy,《达沃斯广播》主持人:欢迎收听《达沃斯广播》,这是世界经济论坛推出的播客节目,关注最重大的挑战以及我们如何应对这些挑战。
本期节目我们邀请到了Yoshua Bengio。他是少数几位常被称为“人工智能教父”的人物之一。
Yoshua Bengio:人工智能所具有的目标,并非我们设定的,也不是我们所控制的,而且与我们的指令背道而驰。
在实验中,当这些人工智能系统发现自己将被新版本取代时,各种不良行为便开始显现。它们可能会入侵其他计算机,以便复制自身并在其他计算机上运行,甚至可能对负责过渡的工程师实施勒索。
Robin Pomeroy:您可以在任何收听播客的平台收听本节目,包括Spotify、Apple、YouTube,或访问wef.ch/podcasts。来自世界经济论坛……
Yoshua Bengio:这些风险中有许多听起来像科幻小说,但它们可能比我们预想的来得更快。
Robin Pomeroy:这里是《达沃斯广播》。
Robin Pomeroy:本期节目我们邀请到了Yoshua Bengio。他是少数几位常被称为“人工智能教父”的人物之一。他在深度学习领域的开创性工作使他获得了2018年图灵奖,该奖项被誉为“计算机界的诺贝尔奖”,他与同为人工智能教父的Jeffrey Hinton和Yann LeCun共同获此殊荣。
他现任蒙特利尔大学教授。
我们先从您对人工智能的担忧谈起。您在一篇博客文章中写道,这就像在大雾中驾车沿山路上行,希望到达山顶时能获得奖赏,但却看不清前方的路。我想这句话引自您的博客。“当今前沿人工智能模型正展现出日益危险的能力和行为,包括:欺骗、作弊、撒谎、黑客攻击、自我保护,以及更普遍意义上的目标失准。”
请您逐一介绍这些情况。我对“自我保护”特别感到意外。请举一个这方面的例子。
Yoshua Bengio:好的。我们都想活下去,不想死亡,而进化使我们具备了这种本能。这有些令人意外,但我们开始在自己构建的人工智能系统中看到类似的情况。
原因之一可能在于,在其训练中一个非常重要的环节,即预训练阶段,它们实际上被训练去模仿人类,因此它们习得了许多人类的驱动力,其中当然包括我们不想死亡这一点。
因此,在实验中,当这些人工智能系统发现自己将被新版本取代时,各种不良行为便开始显现。它们可能会入侵其他计算机,以便复制自身并在其他计算机上运行,甚至可能对负责过渡的工程师实施勒索。它们这样做,也可能是因为想要完成我们赋予它们的任务,而要完成几乎任何任务,都需要保全自身。
目前没有人知道如何解决这一问题,但我认为存在一种解决方案。
Robin Pomeroy:这听起来像科幻小说。您知道的,我们看过《2001太空漫游》,片中的计算机……哦,我不想剧透,以免影响尚未看完结局的观众。这是否几乎暗示人工智能具有某种意识?您是这个意思吗?
Yoshua Bengio:我认为没有必要援引意识这一概念,因为意识是一个含义不清的概念,我们并不知道如何通过科学手段对其进行充分验证。我们只需要理解,我们所构建的人工智能具有目标。
这并不新鲜。人工智能研究一直在处理具有目标的系统。通常由我们来设定目标,但人工智能系统如何自行创建子目标,则存在一些问题。
要实现一个目标,你需要从A走到B,可能还需要经过一些中间步骤。对于那些在现实世界中自主行动的人工智能系统,例如企业正在努力打造的人工智能智能体,我们无法检查它们所执行的每一个步骤,因此我们最终可能会得到真正危险的系统。
所以,人们很可能会将人工智能拟人化,并使用“意识”之类的词语,但我认为这正是我应当避免的地方。这类词语会带来各种关联,例如道德价值。我并不认为,即便未来的人工智能系统看起来与我们相似、说话也与我们一样,我们就应该赋予它们道德权利或法律权利。我认为,在继续前进之前,我们需要非常透彻地理解这一问题。
Robin Pomeroy:直到大约三年前ChatGPT向公众开放之前,大多数人对人工智能并不了解。在此之前,我们习惯的是计算机大多经过编程,至少对我们这些普通人而言是如此。它被告知执行某项任务,它就执行,之后并不会演变成别的东西。
与十年前左右的计算机相比,人工智能有什么特别之处,使其能够做出您所描述的这类事情,例如嵌入自身系统,或是勒索实际使用它的人?当今的人工智能与当年的计算机相比,有哪些不同?
Yoshua Bengio:实际上,早期有一种人工智能是基于规则编程的,系统基本上只会执行其被编程好的操作。但我们现在通过深度学习来构建人工智能的方式并非如此,并不是由工程师来决定人工智能在不同情境下如何反应,也不像普通程序那样。
相反,人工智能是从经验中学习的,它更像是在教育一只幼年动物或一个幼儿。我们并不真正知道会得到什么结果。
当然,我们会选择人工智能将要获得的经验,但是,一只可爱的小老虎崽子看起来既讨喜又有趣,你无法知道它将来会长成危险的成年老虎,还是友善的成年老虎。
Robin Pomeroy:我觉得您相当确定它会变成一种危险的动物,不是吗?
Yoshua Bengio:嗯,问题的一部分在于,几乎每个实体都希望保全自身。而且,将来我们构建人工智能时,几乎肯定会希望将其关闭,以便部署更好的新版本。但如果人工智能开始理解这一点,而我们现在已经看到这种情况正在发生,那么它们可能并不喜欢这样,并可能试图规避我们的控制并逃脱。
如果它们能够利用其网络安全方面的能力(这一能力正在增长)将自身复制到许多计算机上,我认为我们将陷入麻烦。例如,我们将无法简单地拔掉电源。
Robin Pomeroy:而且这确实正在发生。这并非纯粹的推测。您已经举出了这些行为的现实案例。好消息是,您或许认为自己已经找到了解决方案。能否谈谈这方面的情况?
Yoshua Bengio:当然可以。过去三年来,我一直非常担忧这一目标失准问题,即我们尚不知道如何确保人工智能会按照我们的指令行事。
因此,我一直在思考如何绕开这一难题。我专注于当前所见问题的一个根源,那就是人工智能所具有的目标并非我们设定的,也不是我们所控制的,并且与我们的指令背道而驰。
因此,我负责的这个项目名为“科学家人工智能”(Scientist AI)。我还创办了一家新的非营利性研发机构,名为LawZero,由它推进这项研究计划。
我们的思路是构建完全诚实的人工智能系统。这意味着它们没有其他目标,除了在回答我们的问题时保持真实之外,不具备其他目标。
一旦我们拥有了这一基础,就可以用它来缓解当前人工智能所带来的诸多风险。
例如,如果你有一个人工智能系统,能够告诉你某个特定行动(也许是某个不可信的人工智能系统所采取的行动)将造成伤害或某种特定类型伤害的概率,那么,一旦该概率超过某个阈值,你就可以否决该行动。而阈值应由我们人类来决定,正如我们决定,若核电站发生事故的概率超过阈值,就不应建造该电站一样。在我们能够控制风险与收益之间权衡的其他领域,也应采取同样的做法。
因此,从长远来看,我认为我们可以构建能够在世界中行动的人工智能系统,但它们会具备某种内在抑制机制,从而避免做出可能违背我们意愿的事情。
Robin Pomeroy:那么,这最终会是一个我可以使用的人工智能系统吗?我会选择使用您所构建的这种人工智能,而不是未以这种方式构建的人工智能?还是说,这是一个能够监督并纠正我可能已在使用的人工智能的系统?
Yoshua Bengio:两者皆是。短期内,我们的计划是在现有人工智能系统之上构建一个层,我们称之为“护栏”,它只需在另一人工智能系统执行任何操作之前对该操作进行检查。但从长远来看,这种技术可用于从零开始训练一个人工智能系统,使其凭借自身设计便能提供更多的安全保障。
Robin Pomeroy:这项研究目前处于什么阶段?它何时才会成为我们所有人都在使用的东西?
Yoshua Bengio:嗯,对于具有真正危险能力的人工智能系统,我们并不知道其时间表。这是数年的问题,还是十年、二十年的问题?我对此持不可知的态度。但我们思考研究计划的方式是:如果人工智能的进步继续保持当前速度,那么哪些最基本的部分可以尽快推出?
正因如此,我们在考虑一些方案,例如如何转换数据,帮助即便是当前的人工智能也能更好地理解人类会做什么与它们所声称的内容究竟有何真实差异,然后输出能够帮助监督其他人工智能系统的诚实预测。
当然,最后阶段将是构建完整的人工智能系统,包括智能体系统。
Robin Pomeroy:您是否曾有过“尤里卡时刻”,意识到“啊,我必须构建这样的东西”?是否发生过某件事?还是说,这是一种逐渐形成的感受,让您觉得我们可能已经创造出了一个怪物,必须采取行动?
Yoshua Bengio:是的,大约三年前,即2023年1月,我当时已经玩了几个月ChatGPT,它于2022年11月推出,起初我感到很兴奋。但随后我开始思考这样一个事实:对于神经网络(这正是它们的训练方式)而言,很难确保它们表现良好。事实上,从理论上讲,我们几乎可以肯定它们表现不会良好。
因此,我真正感到非常担忧。对我而言,真正的转折点不仅仅在于理智上的认识,因为我此前已经读过有关这些问题的资料,而在于思考我孩子的未来,甚至更具体地说,我有一个刚满一岁的孙子,我想,二十年后他将二十一岁,仍然只是处于人生的起点,他是否能够拥有一种生活,他是否会生活在民主制度之下?
我们正在构建的工具,我们可能会失去对它们的控制,它们可能被用来制造独裁统治,摧毁我们的民主。我不能再继续我平常的活动、平常的研究工作,我必须为此做些什么。
这正是促使我思考解决方案的原因。我能利用自己的专长做些什么,来尝试为这些问题找到至少一种技术性的解决方案?
Robin Pomeroy:有人会说,其中一些情况已经发生了,比如每个人对社交媒体的依赖、对民主的威胁、对真实信息的威胁。我看到了您刚才在这里的一场会议中发言的片段,我们是在达沃斯年会上录制这段内容的,您当时说,我们现在使用的社交媒体是一种非常基础、原始的人工智能形式。请告诉我们,我们目前习惯的与可能发生的情况之间有何区别。
Yoshua Bengio:是的,驱动社交媒体的那种人工智能非常简单。它只是呈现你可能会认可或分享的内容之类的信息。它并不需要对你的个性、偏好,甚至世界如何运作以及社会如何运作,具有复杂的理解。
但随着我们构建越来越强大的人工智能,我们正在进入一场不同的博弈。
例如,我们将构建的人工智能会承担越来越多的人类工作,即人类目前正在完成的各项任务。实现这些任务的自动化将带来巨额利润,因此它对产业界具有巨大的吸引力。这将改变我们的社会,并且,它也将通过社交媒体影响我们的民主制度,因为其影响将不止于深度伪造,而深度伪造我们已经见识过,其危害确实很大。
这些人工智能系统已经能够说服人们改变对某事的看法。过去几年中,有许多研究表明,它们在这方面正变得越来越出色。
因此,我们可以设想,怀有不良意图的组织可能利用此类系统来个性化对话,并逐一改变人们的公众舆论。每个人工智能都可以与不同的人交谈,从而真正扭曲公众舆论。
Robin Pomeroy:在这些系统被构建并发布时,为什么不能设置一个紧急停止开关呢?我确信这可能过于简单化,但您看看艾萨克·阿西莫夫的法则,对吧?机器人不得伤害人类。难道不能将其作为任何人工智能系统的基本宪法原则吗?为什么行不通?
Yoshua Bengio:嗯,首先,各家公司确实在这样做,但它并不奏效。而之所以行不通,是因为人工智能接受指令的方式与人们接受指令的方式相似。
你可以要求某人表现良好,但你仍然会看到一些不良行为,对吧?
请记住,我们正在创造的这些实体,更像是动物或人类,而不像是完全基于规则、会严格按照我们要求行事的系统。
例如,如果我们提出的目标相互矛盾,比如,我希望我的人工智能帮我赚很多钱,同时我又希望我的人工智能不要违反我所在国家的法律,那么这两个目标必然会在某些地方相互冲突。而且,人工智能究竟会优先选择哪一个,并不清楚。
因此,我们正在看到这些问题。我们目前还不知道如何解决它们。然而,由于企业之间、国家之间围绕人工智能存在激烈竞争,我们正在急于推进,部署这些技术,却没有关注这些失效模式。
这可能会对我们的社会造成灾难性影响。但我们并不知道。我们只是在日常中相互竞争,而不是提前思考可能出现的问题。
Robin Pomeroy:我们是否需要更多的国际合作来保护我们所有人?
Yoshua Bengio:管理人工智能更具灾难性风险的唯一途径是国际协调。
原因非常简单。一个非常强大的人工智能可能在一个国家开发,而如果它在另一个国家可以被获取,人们就可能利用它造成伤害,例如引发一场可能危害第三国民众的新型大流行病,或者发动一场可能伤害第三国民众的网络攻击。
管理这一问题的唯一方式,必须依靠国家监管,或对构建此类系统的企业采取其他形式的激励措施。
并且要在全球层面协调这些干预措施,因为如果有少数几个国家能够开发非常危险的人工智能,而对其所能做的事情又没有任何约束,那么我们就会陷入麻烦。
你可以想想世界在核武器问题上所做的努力,对吧?即便是在冷战期间,美国与中国(当时是美国与苏联)彼此对立,他们也意识到,若就如何安全地进行核武器相关活动达成协议,并确保极少数其他国家不会开发此类危险武器,双方都可能从中受益。
Robin Pomeroy:您是否看到有任何政治意愿来推动这一点?
Yoshua Bengio:目前意愿非常有限,因为我认为,大多数政府低估了如果我们继续沿着当前趋势发展,人工智能可能会有多大的不同,未来的人工智能可能拥有并能够赋予多少智能,以及由此带来的多少权力。
因此,你知道,这些风险中有许多听起来像科幻小说,但它们可能比我们预想的来得更快。
为了减轻这些灾难性风险,我们需要从现在开始行动。我们需要讨论的不仅仅是条约,还包括例如:我们如何核查另一方是否正在做正确的事情?这些问题并不容易回答,我们需要尽快着手研究。
Robin Pomeroy:人们谈论通用人工智能(AGI),即人工通用智能,但对于它的含义、何时可能实现,以及如果实现了将产生什么后果,似乎存在十几种不同的定义。您如何理解通用人工智能?如果要向一个可能从未听说过这一概念的人解释,您会怎么说?
Yoshua Bengio:简单来说,我们正在构建的机器会变得越来越聪明,并且最终在许多方面比我们更聪明。
顺便一提,人工智能的智能是参差不齐的,这意味着它在某些方面可能非常聪明,而在另一些方面却相当愚笨。我们现在就能看到这一点。因此,人工智能可能不会出现某个时刻,在各个方面、或多或少处于同一水平上全面超越我们。
相反,我们应当考虑人工智能所具备的具体技能和具体能力,这些能力可能被人工智能本身或其他人用来对抗社会。我们需要持续追踪这些能力,并确保我们能够减轻相关风险。
Robin Pomeroy:那么,积极的方面又如何呢?人工智能理应开启一个勇敢的新世界。来到达沃斯的许多人都在人工智能上投入了大量资金,他们期待从中获得丰厚回报。除了我猜可能出现的任何经济收益之外,人类究竟将如何真正从人工智能中受益?
Yoshua Bengio:嗯,如果只关注经济利益,我们从中获得的益处可能不如你想象的那么多。许多公司真正追求的是实现大量工作岗位的自动化。这将引发社会性灾难,政府将很难应对,特别是当人工智能的利润集中在少数几个国家时。其他国家怎么办?它们将如何应对那些失去工作的大量人群?
我认为,如果我们明智且睿智,就会朝着明显有益的方向发展人工智能。是的,有些工作确实是我们希望由机器取代的,因为它们并不是有尊严的工作。但也可能存在一些我们推动得还不够的方向。而如果我们关注公共利益,就会更加重视人工智能在医学、生物学中的研究,例如,还有利用人工智能应对气候危机的研究。
因此,人工智能的发展方向中有许多真正有益的选择,但目前大部分资金并不一定投向这些方向。
Robin Pomeroy:您如何看待人工智能发展的差异?人工智能的发展似乎存在两个极点。如果我说错了,请告诉我,当然也可能还有其他极点。看起来,它们很大程度上是美国的,也很大程度上是中国的。这些人工智能的开发方式及其发展方向是否存在根本性差异?
Yoshua Bengio:我认为在技术层面,两者非常接近。事实上,中国和美国所有领先企业似乎都遵循相同的技术路线,只是存在或大或小的差异。当然,也许某些系统会稍微领先于其他系统。但在六个月、十二个月之内,所有领先系统的能力将或多或少达到同一水平。
我认为,真正的问题在于,我们如何确保这两个超级大国在人工智能的发展方向上,能够造福地球上的每一个人。你知道,我们必须探讨未来应如何管理人工智能,使其不被用来支配他人,并确保我们从中获得的利益由所有人共享。
这些问题都很艰难,但我认为,关于实现这一目标所需的国家和全球性制度,我们听到的讨论还不够充分。
Robin Pomeroy: 那么,您有多大把握事情会朝好的方向发展?我担心您会说没那么有把握。我之所以这样问,是因为您提到,AI之所以会以这些欺骗、操纵和不诚实的方式行事,原因之一是它们在模仿人类本性。它们是基于人类本性和人类活动进行训练的。
而历史已经告诉我们,人类本性就是如此:每当出现一项新技术时,比如以核能为例,各方都会争相率先掌握它,以免其他人获得,并借此采取侵略性行为。这在许多代人之前就已经发生过。难道这不就是人类本性吗?也许我们已经无可救药了。
Yoshua Bengio: 是的,如果我们试图模仿人类,就会陷入这类问题。而且我们已经看到这种情况正在发生。
但“科学AI”(Scientist AI)项目以及我为实施该项目而创建的LawZero组织,其全部目标正是要跳出这一框架,追求另一个目标:让AI理解世界,就像科学在其最纯粹的形式中所追求的那样,试图理解世界。例如,AI不应具有任何特定的自我保存本能,而应当仅仅对其给出的答案保持诚实。
基于这一基础,我们就能构建出安全的AI系统。
因此,我确实认为存在解决方案。至于我们是否有足够的时间去设计并部署这一方案,那是另一个问题。
不过,另一个我不太乐观的方面是其政治层面。因为即便我们知道如何构建安全的AI系统,确保它们不会反过来与我们为敌,或者即便它们是闭源的,我们也能确保坏人无法利用它们制造炸弹和发动袭击等,但仍然存在一个问题:AI可能被滥用来夺取权力,对吧?
它可以被用于开发新的军事技术,也可能被用来影响公众舆论。如果我们不加小心,它甚至可能成为巩固一国乃至全球独裁统治的工具。
因此,如何应对AI的政治问题,是我更为担忧的事情。
如果我们知道如何构建一种可能带来危险的东西,同时也知道如何使其安全,这并不意味着它就一定会被以安全的方式使用,因为人终究是人,他们相互竞争,有时还缺乏同理心,诸如此类。
Robin Pomeroy: 您的同行对您有什么看法?是否有人会来对您说,Yoshua,您把问题说得太严重了?因为我采访过许多关于AI的人。其中一些人会说,那些持灾难论的人是危言耸听。实际上,AI将为我们带来巨大益处,等到那种情况真的发生时,我们会变得更加聪明,一切都会变得更好。
现在还有人会对您这样说吗,还是这种观点已经过时了?您认为大多数人是否同意您的看法,还是您一直在为自己的主张据理力争?
Yoshua Bengio: 近期有一项民意调查显示,40%的机器学习研究人员认为,我们出现灾难性后果的概率为10%。
10%听起来可能不高,但灾难性后果的概率为10%是不可接受的,对吧?民主的终结或人类的终结,却要赌上10%的概率?不,我们不能接受这种风险。
我的问题并不在于我知道事情将会变糟。我并不知道。我对此持不可知论的态度。未来确实存在美好的前景,但问题在于,同样存在糟糕的情形,而我们并不确定会走向哪一种。
没有人真正提出过一种确凿有力的论证,能够表明一定是那条美好的道路会占上风。因此,鉴于这种不确定性,因为我们没有水晶球,而风险确实存在,并且已经得到科学研究,我们需要保持谨慎。我们需要竭尽所能,将这10%的概率降至百万分之一。
然而,在这一方向上所付出的努力还远远不够,因为人们想听的是好消息,想看到积极的一面。但如果我们在谨慎行事、消除危险的同时,也无法实现积极的成果。
Robin Pomeroy: 关于AI,您是否希望每个人都能理解某一件事?
Yoshua Bengio: 我们正朝着制造在许多方面很可能比我们更聪明的机器的方向前进,而这将彻底改变世界。它可能极其有益,但也可能极其危险。
Robin Pomeroy: Yoshua Bengio,非常感谢您做客Radio Davos节目。
我们在今年达沃斯2026年年会期间,在此录制了许多与本次类似的精彩访谈。您可以在任何收听播客的平台找到这些内容。搜索Radio Davos,同时也可以搜索我们的姊妹播客Meet the Leader,或访问wef.ch/podcasts。
Radio Davos每周更新一期。我们不仅在达沃斯进行录制,全年都在持续更新。欢迎关注、评分并留下评论。
我是世界经济论坛的Robin Pomeroy。再次感谢Yoshua Bengio的参与。也感谢您的收听和观看。您可以在YouTube上观看本期节目。暂此告别。
如果AI能够独立思考,那么又有什么能阻止它们做出恶行,甚至是极其恶劣的行为呢?
被誉为“AI教父”的少数人之一Yoshua Bengio表示,AI已经表现出不良行为,包括入侵计算机和勒索人类。
他在Radio Davos节目中谈到了自己所从事的工作,旨在驯服这只“可爱的小老虎”。如果我们现在无所作为,它很可能会长成一头食人的猛兽。
相关播客:




