本文稿由语音识别软件生成,可能包含错误。请对照音频核实其准确性。
Nicholas Thompson,《大西洋月刊》首席执行官:好,大家好,下午好。我是Nicholas Thompson,《大西洋月刊》的首席执行官。今天由我担任主持人。有人告诉我,这场小组讨论在30秒内就售罄了。我知道这并不是因为我,因为我主持过很多场小组讨论,通常不会出现这种情况。我对这个小组感到极为兴奋。我们这里汇聚了一群出色的嘉宾。事实上,我太兴奋了,以至于我在走过来的路上,一边看着我的问题、做准备,一边沿着步行长廊走,前面有一群人,我一边读问题一边走路,结果走得慢了下来。于是我便做了《纽约客》式的操作,从他们中间穿了过去,然后才注意到他们每个人都带着机关枪。
接着,突然间,两名持机关枪的男子看着这个在他们之间穿行的小个子。那是John Kerry的随从。不过我非常急切地想来这里。我将按照嘉宾在人工智能和机器学习领域首次重大贡献的时间顺序来介绍他们。这五位嘉宾令人惊叹之处在于,他们过去都做过令人瞩目且各不相同的事情,现在也都在做着令人瞩目且各不相同的事情。
那么,坐在我左边的是Yann LeCun,图灵奖得主,神经网络架构的发明者,目前负责Meta的人工智能业务。我们还有Kai-Fu Lee,他的研究方向是语音识别中的机器学习,现在经营01.AI,该公司在Hugging Face排行榜上蒸蒸日上。我们还有Andrew Ng,他最早学会了为人工智能扩展GPU的使用,在他目前众多的职务中,他负责AI Fund。
我们还有Daphne Koller,她首次在人工智能中使用贝叶斯模型,现在经营Insitro。另外,我们还有Aidan Gomez,他是提出Transformer架构的人之一,GPT中的T即代表Transformer,他现在经营Cohere。
这是一个令人惊叹的小组,无论是他们过去的成就还是现在正在做的事情。这场讨论一定会很精彩。第一个问题是:我离开这个房间时最想从各位那里了解的是,未来几年人工智能的变化速度将会如何。我想知道,我们在过去两年里取得的那些疯狂的创新是否会持续下去,规模定律是否会持续有效,我们是否会继续以超过摩尔定律的速度前进?还是我们正在接近某种平台期?事情会开始放缓吗?因此,我想把这个问题交给你,Kai-Fu Lee。请告诉我,未来几年变化速度会加快还是放缓,以及原因。
Kai-Fu Lee,01.AI Pte. Ltd创始人:我认为它会略微放缓,但我认为仍将以惊人的速度发展。如果只看过去两年,这些模型的质量提升了多少,你知道,两年前,MLU(大致衡量智能水平的指标)还在40和50的区间,现在已经达到90,而且仍有更大的提升空间。
显然,通过增加算力和数据可以实现增长,但随着越来越多的创业者和大型企业加入这场竞争,在调整和改进各个方面上仍然存在空间。我们入局很晚,但我们能够在现有模型的基础上取得实质性改进,靠的不是追求规模扩展,而是在数据调校、训练、基础设施等方面做了不同的工作。所以我很乐观。
Nicholas Thompson,《大西洋月刊》:你乐观,是因为你认为近期的规模定律将继续成立,同时也因为还会有创新出现,对吗?
Kai-Fu Lee,01.AI Pte. Ltd: 它们会继续成立,但显然会放缓。任何事情都存在边际收益递减,但它绝不是处于平台期。
Nicholas Thompson,《大西洋月刊》: Andrew,你怎么看?
Andrew Ng,DeepLearning.AI, LLC创始人:是的,扩展规模变得越来越难,但我觉得,对我们大多数人来说,发展速度仍会感觉在加快,因为创新和算法评估的数量在增加。举几个简单的例子,去年我们见证了文本领域的革命,我认为今年我们将看到图像处理领域的革命。它其实已经以GPT-4V和Gemini Ultra的形式出现了,但计算机的视觉能力将会大幅提升。
我在自主智能体方面看到了大量创新。不再是输入提示、由大语言模型给出一个回应,而是你可以给大语言模型一个指令,它会自行去工作半小时,浏览网页、做大量研究,然后再回来告诉你结果。目前这还远未完全实现,但很多人正在为此努力,这是又一项创新。
关于AGI,你知道,我们习惯于在云端运行模型,但由于开源和其他因素,我认为未来我们将在自己的设备上运行更多的大语言模型。因此,综合所有这些创新方向,我实际上很乐观,觉得这个领域会感觉在持续向前发展。
Nicholas Thompson,《大西洋月刊》:Aidan,让我用另一种方式来问你这个问题:如果你现在能将应用于大语言模型的算力翻倍,你的模型能力会翻倍吗?你会把它的能力变成三次方吗?随着我们增加算力,会发生什么?
Aidan Gomez,Cohere Inc.联合创始人兼首席执行官:我的意思是,我认为我同意它将保持同步发展,甚至我还会进一步说,它将开始加速。我们今天拥有的技术存在巨大瓶颈,我们了解现有架构和所用方法的局限,我认为这些问题将变得更容易解决。与此同时,硬件平台也在不断变好。因此,下一代GPU将是相较于我们今天所拥有产品的一大步跨越。这将解锁新的规模,以及运行成本高得多的算法和方法。
所以我非常乐观,认为事情将加速发展。至于你提出的具体问题,即如果算力翻倍,你会做出什么样的决定?我会说,目前我们还没有完成规模扩展。我们仍需要推动……我们所有人都需要。几乎所有构建大语言模型的人都是如此,所以我会把我的模型规模翻倍。
Nicholas Thompson,《大西洋月刊》:哇,如果不花钱的话,我想每个人都会把自己的模型规模翻倍。那么,Jonathan,让我问一下,我之所以对此感兴趣,部分原因在于:如果这种关系成立,也就是说,GPU越好,你拥有的算力和电力越多,你的模型就越好,那么这就意味着权力会集中到少数能够获得这些资源的公司手中。如果出现更明显的平台期,市场就会变得更具竞争性,对吧?
Daphne Koller,Insitro Inc.创始人兼首席执行官:其实我想把你的问题引向一个稍微不同的方向。
Nicholas Thompson,《大西洋月刊》:随你怎么调整都可以。
Daphne Koller,Insitro Inc.:你在促成因素的分类中提到了算力,提到了电力,但没有提到数据。我认为,数据可能是促成我们今天所见证的惊人进展的最大单一因素。我认为,我们才刚刚开始触及未来随着时间推移将可供模型使用的数据。
比如,现在,是的,我们确实是基于整个网络规模的数据进行训练,这非常了不起,也令人难以置信,但这些智能体尚未具身化,它们还不能与世界互动。因此,当我们开始借助增强现实来随身携带这些技术,当我们开始从自动驾驶汽车获取更多数据,当我们开始利用生物学、医疗保健以及各种目前被封存在数据孤岛中的数据模态时,我认为这些模型将发展出目前尚不具备的新能力水平。因此,我认为这将是推动这些模型能力扩展的一大重要因素。
Nicholas Thompson,《大西洋月刊》:非常有意思,因为我在达沃斯的一些对话中,有人说,我们快要用完数据了,对吧?网络上已经没有那么多数据了。Yann,你怎么看?
Yann LeCun,纽约大学数据科学、计算机科学、神经科学及电气工程Silver讲席教授:我完全同意Daphne的观点。所以我认为,如果我们只关注大语言模型这一范式,那么它正在饱和。这一点毫无疑问,它正在饱和。事实上,我们快要用完数据了,基本上我们已经在使用互联网上所有的公开数据。
它们是用什么训练的?10万亿个token?好,大约每个token两个字节,所以训练数据大约是十三分之二字节的两分之十……嗯,大约是两个字节乘以10万亿,也就是说,训练数据大约为十三分之二的……我们在座的大多数人需要花150到20万年才能读完这些数据。现在,想想一个孩子通过视觉看到的东西,并试着估算一个四岁孩子一生中看到的信息量。通过视神经传递的信息大约是每秒20MB,在出生后的头四年里,清醒时间约为16,000小时,每小时3600秒。你算一下,结果大约是10的15次方字节。这说明,四岁的孩子看到的信息量是我们拥有的最大的大语言模型的50倍。
而且,四岁的孩子比我们拥有的最大的大语言模型聪明得多。它积累的知识量显然更小,因为它以不同的形式存在,但事实上,四岁的孩子对世界如何运作有着极为丰富的认知。我们今天可以用大语言模型做到这一点。因此,我们缺少一些基础性的科学和新的架构,以便利用感官输入,未来的系统将能够利用这些输入。这需要一些科学和技术上的突破,这些突破可能会在未来一年、三年、五年或十年内出现,我们并不知道。
Nicholas Thompson,《大西洋月刊》:我想确认我是否理解了你的意思,Yann。所以,可用的文本数据量会增长,但不会是无限的,而我们可能输入这些机器的视觉数据量却是巨大的,对吗?
Yann LeCun,纽约大学:嗯,我刚才提到的16,000小时视频,相当于YouTube上30分钟的上传量。我的意思是,我们拥有的数据远远超出了我们能够处理的范围。问题在于,我们如何让机器从视频中学习?我们并不知道。
Nicholas Thompson,《大西洋月刊》:好的,那么,如果下一步是视频输入,那么需要什么样的新架构?显然,大语言模型的构建和优化方式并不完全适用于此。我们现在需要构建什么?
Yann LeCun,纽约大学:好的,大语言模型的训练方式是这样的:你取一段文本,对其进行破坏,然后训练一个庞大的神经网络来重建完整文本,也就是预测缺失的词。基本上,你通过删除部分词语来破坏文本。像ChatGPT这样的大语言模型,你只需删除最后一个词来训练它们。从技术上讲,这更为复杂,但基本上就是它们所做的,对吧?
因此,你训练系统去重建输入中缺失的信息。那么,很自然的想法是:为什么不对图像也这样做呢?于是,你对一张图像进行破坏,比如删除一些部分或加以损坏,然后训练一个大型神经网络来恢复图像。但这行不通,或者说效果不太好。在这个方向上已经有一整条研究路线持续了一段时间,但效果确实不太好。对视频也同样行不通。我已经研究视频预测九年了,你知道,就是向系统展示一段视频,然后训练它预测接下来会发生什么。如果系统能够做到这一点,它可能就理解了世界的某些基本本质,正如一个试图预测下一个词的文本系统,能够捕捉到句子的某些含义一样。但这同样行不通。
Nicholas Thompson,《大西洋月刊》:所以你的意思是,你拍一段视频,里面我这样做,把笔扔下去,它就能预测笔会掉落,但现在机器做不到,对吗?
Yann LeCun,纽约大学:问题在于,你手中的笔在被扔下时有特定的状态,它会沿着特定的轨迹运动。我们大多数人都无法精确预测轨迹是什么,但我们可以预测物体会掉下来。婴儿大约需要九个月的时间才能明白,没有支撑的物体会下落。好,我们如何让机器做到这一点?
Nicholas Thompson,《大西洋月刊》:等等。好吧,抱歉,这可能是个愚蠢的问题,但我不明白:如果将来这些东西要能正常工作,并且持续带来革命性变化,因为它们将理解视频,而那正是数据所在,但我们并不理解视频。你如何解释这一点?
Yann LeCun,纽约大学:所以,潜在的解决方案是,目前还没有真正的解决方案,但目前最有希望的方法,至少是那些在图像识别中有效的方法,我要让大家都感到惊讶:它们并不是生成式的。好的,表现最好的模型并不生成图像,它们不进行重建,也不进行预测。它们所做的,是在抽象表征空间中进行预测。就像我无法精确预测笔在你手中会如何下落,但我可以预测它会掉下来。因此,在某种抽象层面上,比如笔在这里或那里,而不必知道具体的配置细节,我可以做出这样的预测。所以,必要的是在抽象表征空间中进行预测,而不是在像素空间中进行。这就是为什么迄今为止,所有在像素空间中进行的预测都失败了,因为它实在太复杂了。
Daphne Koller,Insitro Inc.: 但我认为这不仅仅关乎视频。我认为婴儿还学习了因果关系的概念,他们是通过干预世界并观察会发生什么而学会的。而我们在大语言模型中还根本没有做到这一点。我的意思是,它们完全是预测引擎。它们只是在进行关联,而要获得因果性,在我们试图跨越比特与原子之间的鸿沟时,这一点至关重要。这是当前模型所缺失的重大能力。它在具身模型中是缺失的,在我们的计算机进行常识性韧性判断的能力中也是缺失的,当我们尝试应用于其他领域时,无论是制造业、生物学,还是任何与物理世界交互的领域,这种能力同样缺失。
Yann LeCun,纽约大学: 嗯,在具身系统中,这实际上在某种程度上已经有效。我的意思是,其中一些系统具有世界模型。你知道,这是在时刻T的世界状态表示,这是我可能采取的一个动作,告诉我在时刻T加一的世界状态是什么?
这就叫作世界模型,如果你拥有这种世界模型,就可以规划一系列动作,以实现特定目标。目前,除了一些非常简单、类似机器人的系统(它们学习得并不快)之外,我们基于这一原理的人工智能系统并不多。因此,一旦我们能够将这种模型扩展开来,我们就会拥有能够理解世界、理解物理世界、进行规划、推理,并理解因果关系的系统,因为它们理解动作会产生什么效果。
它们将是面向目标、面向目的的系统,因为我们可以借助这种规划赋予它们需要实现的目标。所以,这就是人工智能系统未来的架构。在我看来,一旦你弄清楚如何让这种方式运作,就不会有头脑清醒的人还会使用自回归大语言模型了。
Nicholas Thompson,《大西洋月刊》:好的。我不明白如何构建神经网络,但我确实对孩子有一些了解,因为我养育过三个孩子,我认为你们对婴儿的评价有些过高了。所以,关于因果关系,我最小的孩子九个月大的时候,我记得他站在婴儿床边大声喊叫,然后他突然翻倒了。幸好他屁股先着地,但我不认为他理解物体下落以及因果关系究竟是什么。在……Kai-Fu,Yann对于需要发生什么的判断正确吗?他的方法是否正确,还是因为他的想法有误而有所不足?
Kai-Fu Lee,01.AI Pte. Ltd:不,Yann总是对的!
Yann LeCun,纽约大学:谢谢。
Kai-Fu Lee,01.AI Pte. Ltd: 不过,我们不应忽视基于文本的大语言模型所蕴含的巨大商业价值,对吧?我的意思是,它们给人一种令人难以置信的逻辑推理乃至常识的假象。它们能解决实际问题,能生成内容,能大幅提升我们的生产力,正在被广泛部署。
所以,换上我更像创业者的帽子,我只看到了大量仍有待挖掘的价值。至于拥有世界模型这一机会,我认为这对研究人员来说是一件很棒的事情。但对我这样的初创企业来说,那还有些遥远。我们很希望学术界和大型公司的研究实验室能够做出发现,然后我们再跟进。
Nicholas Thompson,《大西洋月刊》:所以你的观点是,即使我们坚持基于文本的大语言模型,不去探索Yann在我左边谈到的所有这些疯狂的东西,世界仍将被彻底颠覆?
Kai-Fu Lee,01.AI Pte. Ltd:我们已经看到了,绝对如此。我的意思是,我们基本上看到了内容生成、对人的模仿、有趣体验的创造、更好的搜索引擎,以及你能想象到的几乎所有地方,包括办公效率、制作PPT和内容。当我们思考今天什么能够赚取最多的钱并为用户创造最大的价值时,我们要考虑的事情实在太多了。
Nicholas Thompson,《大西洋月刊》:Aidan,你同意Kai-Fu的看法吗?
Aidan Gomez,Cohere Inc.:是的,我绝对同意关于市场机会以及今天已经存在、并且很快就会到来的价值,即便我们无法一路实现AGI。
我认为,Yann回答了一个非常有趣的问题,这可能与所问的问题并不完全相同。我认为你问的是,如果我们只是继续沿用自回归模型目前的做法,能否成功?我同意,答案是否定的,原因正如你们二位所说,即落地能力以及真正体验现实世界的能力,能够带来那些因果洞察。我确实认为这些并非不可逾越的障碍,我想你们二位也都这样认为。
所以我认为人们正在为此努力。到目前为止,这种粗放策略效果非常好,我们只需要说,建造更大的超级计算机,扩展数据,我们就能获得性能提升,获得非凡的性能。是的,我认为我们知道下一步是什么。我们需要在线经验。我们需要能够真正与现实世界互动。
目前这些模型的部署方式是:我们进行所有这些离线训练,而离线意味着没有与人的交互,也没有与环境的交互,然后我们将它们部署,放入产品中。它是静态的,它不会学习,此后便固定不变。你做的任何事情都不会改变这个模型。因此,要让这些东西能够持续学习,这一点必须改变。
另一个重大障碍是,我们人类通过像这样的辩论来学习,对吧?我们发现新的观点,我们探索真理的空间和可能知识的范围。模型也需要能够在彼此之间做到这一点。
因此,目前自我博弈和自我改进的理念是一个主要瓶颈,我相信Kai-Fu也有同感,我相信我们所有人都有同感,那就是获取比模型本身更聪明的数据。以前,你可以随便拉一个路人,说,请教我的模型好好说话,这样就能改进你的模型,提高它的分数。但现在它们开始变得非常非常聪明了。因此,你不能再去找街上的普通人,你需要去找数学专业的硕士生,需要去找生物学专业的学生,然后是博士。再然后呢?因此,人类及其知识在某种程度上构成了当前策略的一个限制和上限。所以我们需要突破这一点。
Nicholas Thompson, The Atlantic: 好的。那我们先等一下。最终,你知道,我们会有街头普通人,然后是博士,然后是世界上最聪明的人,而最后机器之间只是在相互交谈。它们相互训练,生成大量合成数据。它们在彼此的合成数据上进行训练。我们这些渺小的人类,你知道,对正在发生的事情一无所知。我们怎么知道它们不会自我污染、自我毒化呢?
Aidan Gomez, Cohere Inc.: 我想插一句。我认为Daphne会告诉你,这不只是合成数据,也不只是它们在这个小小的隔离盒子里自我互动。它们需要接触真实世界来进行这些实验并获得经验,去形成假设、检验假设、失败一千次然后成功一次,就像人类那样,从而发现新事物。抱歉打断你。你刚才的问题是什么?
Nicholas Thompson, The Atlantic: 不,那很精彩。那非常好。
Andrew Ng, DeepLearning.AI, LLC: 我能插进来谈谈技术局限性吗?我不确定Yann和我是否同意这一点,但人们常说大语言模型现在有多糟糕。如果你让它在计算两个大数相乘后预测下一个字符,它常常会给出错误答案。但事实证明,人类在这方面也非常糟糕。可是,如果你给人一支笔和一张纸,比如给我一支笔和一张纸,我的数学表现就会比你强迫我直接说出答案、不让我写出推导过程时好得多。我认为大语言模型也是如此。
因此,我认为克服其中一些局限的方法之一,是为大语言模型提供相当于草稿纸的工具。这样你实际上能让它在数学上表现得好得多。事实上,大语言模型正在使用各种工具,例如草稿纸,来真正在现实世界中实现某些事情,比如浏览网页。这些工具在短期内是一种方式,而从长远看,可能还需要做更根本性的事情,才能突破纯自回归模型的某些局限。
Daphne Koller, Insitro Inc: 但我想更广泛地说,回到Aidan归因于我的那些观点上,谢谢你这样说,我们目前还没有能力创建一个关于世界的硅基模型。世界非常复杂,而我们通过实验来观察世界、看看会发生什么并从中学习的能力,我认为对于人类智能的形成来说是绝对关键的。
因此,如果我们希望这些机器成长,我们需要赋予它们的,不只是在硅基环境中相互交谈,并依赖于它们自身小小宇宙的“养分”来运作,而是真正地去对世界进行实验,并生成那种能够帮助它们持续成长和发展的数据。我认为,随着我们向前推进,最大的差异在于让计算机能够参与设计实验,无论是简单的实验,比如松开笔会发生什么,还是更复杂的实验,比如当我把这五种化学物质放入一个细胞中时会发生什么。细胞会发生什么变化?人体会发生什么变化?这些实验正是能够让计算机理解世界这种令人难以置信的复杂性的途径,也能让我们真正超越人类目前所能教给你的东西。一旦你在数学专家或生物学专家的层面上达到了平台期。
Nicholas Thompson, The Atlantic: 这非常有意思。我感觉自己正变得越来越聪明。
Kai-Fu Lee, 01.AI Pte. Ltd.: 我能不能插一句,说这些当然都是很好的宏大目标,但还有大量的工程工作要做,如果你愿意,也可以把它叫作打补丁,以使其变得更好。比如那个问题,你知道的,它会凭空编造东西,而你可以通过把一个RAG搜索引擎粘合到它上面来加以纠正。对于数学问题,理论上你可以把Wolfram Alpha粘合到它上面。各家公司都曾尝试这样做。我认为我们今天看到的许多问题,都可以通过这种方式来解决。我知道这并不优雅。有人可能会争辩说,GPT-4 V也是一种把东西巧妙粘合在一起的聪明方式,但我认为,在研究人员致力于构建具身AI和更先进的东西时,我们还有大量的工程性粘合工作,可以掩盖今天的许多问题。
Nicholas Thompson, The Atlantic: 我想回到Aidan刚才说的一件事,就是你们在谈论AGI,然后你谈到了要去“做出”它。所以,人工通用智能是一个术语,我不想纠缠于定义,但超级智能机器,或者说OpenAI公开宣称的目标,是构建一台在所有方面都比人类更聪明的机器。所以,我想问你们所有人,这对于如此多的AI研究人员来说,是正确的目标吗?我们是否应该努力构建在一般能力上都超越人类的机器?
Yann LeCun, New York University: 好吧,我们是否应该制造比鸟飞得更快的飞机?制造飞机的目的并不是为了比鸟飞得更快,而是为了弄清楚飞行的原理。而我认为,你知道,目前AI研究的问题在于,你知道,发现智能和学习背后的基本原理,无论它是否适用于人类。而要做到这一点,最好的办法就是真正构建出有智能的机器。你不可能,你知道,在不实际构建这些东西的情况下保持理智,我想。
所以这是一个科学问题,你知道,什么是智能?使机器具有智能所需的必要组成部分是什么?其中之一就是学习。我们对此有所了解。我们在这方面取得了一些进展,但到目前为止,我们还无法再现那种能让十岁孩子一次就学会用餐后清理餐桌而不是洗碗机的学习方式,或者能让一个十七岁的孩子在二十个小时内学会开车的学习方式。我们仍然没有五级自动驾驶汽车。那么,你知道,人类和动物到底是怎样学习的呢?
Nicholas Thompson, The Atlantic: 但是Yann,我要反驳你的比喻,因为我们所做的是,我们拿了鸟所做的一件事,也就是飞行,然后我们在这件事上做得比它好得多。我们并没有试图创造一只更好的鸟。我们只是说,哦,看,一只鸟,对吧?所以我觉得,类似的说法可能是,AI研究人员不去试图打造一个在所有方面都更好的人类心智,而是去弄清楚,比如说,我如何才能最好地服务于人类生物学。
Daphne Koller, Insitro Inc: 既然你们让我们表示不同意见,那我就来不同意Yann。
Nicholas Thompson, The Atlantic: 从Twitter上你就能看出来,没有人会反对Yann。
Daphne Koller, Insitro Inc: 嗯,我会尽量不同意Yann,也就是说,我并不相信我们目前设计AI系统的方式,正在教会我们关于人类智能的知识。它教会的是我们关于某种智能的知识。我们当然在学习如何构建一种智能。但我不确定,制造飞机是否教会了我们鸟是如何飞行的。我也不确定,构建“A”是否教会了我们人是如何推理的。
所以我认为这是一个非常值得追求的目标。但我不确定我们正在走的这条路,是否必然会引领我们实现理解人类进化这一具体目标。另一方面,我现在要同意Kai-Fu的观点,也就是说,在AI这个世界里,人们还可以进行多种其他尝试,即解决那些真正困难、重要的宏大问题,而这些问题人类或许根本无法解决。如果我们通过模仿人类的推理方式,以及你提到的那些我正在研究的问题来达成这些目标,我们是无法实现的;而我正在研究的是生物学和健康领域的问题,人类在解决这些问题上实际上非常糟糕。
我认为这是因为,人类很难在大量、异质、多模态的数据中发现那些微妙的模式,而这些数据并不会自然地拼合成婴儿在与世界互动时所学会的那种自然模式。因此,你可以设想一个不同的宏大目标,且不是为了贬低Yann的目标,那就是构建能够解决真正困难的社会问题的计算机,无论是在健康、农业、环境、气候变化等方面,而这些问题仅靠人类自己是无法解决的。所以我认为,这可以说是两条不同的道路。
Yann LeCun, New York University: 因此,绝对可以说,我们正是因为制造了飞机,才理解了鸟是如何飞行的。也绝对可以说,比如因为神经网络,我们对人类感知的理解要深入得多。神经科学领域确实有数以千计的论文,将卷积网络用作视觉皮层的模型。
Daphne Koller, Insitro Inc: 我们理解得更好了,但这并不是一回事。
Yann LeCun, New York University: 这已经是最好的了。它比我们之前使用的方法要好得多,之前基本上是模板匹配。然而,人们正试图使用大语言模型来做类似的事情,比如解释人脑是如何理解故事的。那是行不通的。
Daphne Koller, Insitro Inc: 所以我们达成了一致。
Nicholas Thompson, The Atlantic: 我想了解AGI。我认为它正在通向一些非常有趣的地方。Andrew,你怎么看待它作为一个目标?
Andrew Ng, DeepLearning.AI, LLC: 我只想分享一下,我认为AGI是一个很好的目标,但我认为AI的领域已经足够大了。我们不应该都只有一个目标。我认为应该有一些人说,让我们致力于AGI,有些人致力于应对气候变化,有些人致力于生命科学。让我们把所有这些事情都做好,并且为它们都欢呼庆祝。
Kai-Fu Lee, 01.AI Pte. Ltd.: 嗯,我十八岁的时候,把AGI当作我的梦想,也就是弄清楚人类认知是如何运作的。虽然我不能反驳Yann关于人类认知如何推动技术前沿发展的类比,但我必须更倾向于Daphne的观点,即今天的大语言模型是一种非常不同的生物,你训练它的方式也不同,它在某些事情上非常擅长,在另一些事情上非常糟糕。我认为尝试修复其中一些问题是值得钦佩的,但它的潜力目前完全没有被实现。因此,有很多事情可以做,能让我们的大语言模型为世界创造更多价值,而不必非得去模仿、学习或超越人类。
这就像人们发明汽车时,没有人想要教它走路,对吧?但汽车变成了卡车,变成了各种其他东西,而引擎又开始被用于制造飞机。因此,我认为我们正处于那个阶段。你大概就是发明这项技术的亨利·福特,而我们现在正尝试在此基础上构建,并说,一旦你拥有了引擎,就能制造出多得多种类的东西,而至于这个引擎是否像人脑,我认为我不太感兴趣。实现价值也促使我们想办法让这个新的大语言模型引擎创造更多价值。所以这就是我所专注的方向。但我认为,你知道,其他人可以热爱AGI,并尝试解决问题,我认为从科学角度来看这很有趣。但我认为,通往价值创造的最快路径,是利用我们拥有的这个伟大引擎,从中制造出汽车、卡车和飞机。
Nicholas Thompson, The Atlantic: 所以,Aidan,你谈论AGI的时候,大约过了一分钟,你说了一些类似于“如果我们要去做出它”的话。我想停下来问你,“做出它”是什么意思,但你的回答非常有趣,所以我没有打断。但现在我想问你,当你说“做出它”时,你指的是AGI,还是指那种不断改进、以更广泛的方式服务人类的AI?因为领域里有很多人认为,AGI几乎就像是终点线。你怎么看这个问题?
Aidan Gomez, Cohere Inc.: 不,这是一个连续的过程。对吧?我不认为它是离散的。我认为你可以在某个特定领域中超越人类。所以,模型可能在特定方面超越人类。我们有些模型的表现远远超过任何人类选手。因此我认为这是一个连续统。也许会有某个时刻,模型在所有方面都优于人类,但我认为这可能是一个定义不清的概念。这更像是一种持续的变化。
至于AGI以及它是否是正确的方向,我的意思是,就我个人而言,我只是想为世界创造价值。所以,即使我们没有达到AGI,即使我们未能实现,这项技术仍有大量工作可以做。它将创造巨大的价值,我也会对此感到满意。但当然,我希望我们能够实现最大可能的价值。我认为这确实需要拥有一个我们可以依赖的、尽可能强大的工具。我认为这正是我们在座所有人都在努力构建的东西。
Nicholas Thompson, The Atlantic: 我想转到另一个话题。
Andrew Ng, DeepLearning.AI, LLC: 关于AGI的定义,有件好笑的事情:智能有生物路径,比如人脑,还有数字路径,也就是我们现有的AI模型,而它们各有优势和劣势。关于AGI定义的有趣之处在于,我们正在强迫数字智能路径以生物路径为基准来衡量。这样做是值得的。但这使得创造AGI变得非常困难,即便我们显然正在构建一些极具价值的数字智能。
Nicholas Thompson, The Atlantic: 我很喜欢这个观点。话虽如此。
Yann LeCun, New York University: 我认为这里的一个很大区别在于,在科学和技术的进步中,存在着一种提供的东西,但你可以提前有所收获,以制造实用的解决方案。而且,你知道,这个房间里的人要么是投资者,要么是技术专家,要么是公司CEO,我们需要在短期内这样做,因为,你知道,这是你们的目的,或者也可以是长期的。
而且,你知道,我们所有人都是受到推动AI取得进展的科学所鼓舞的。在某种程度上,你们已经放弃了它,但我仍然是十八岁。
Andrew Ng, DeepLearning.AI, LLC: 我没有放弃它。
Yann LeCun, New York University: 好的,很好。
Nicholas Thompson, The Atlantic: 现在我想谈谈AI中最具争议的观点之一,即开源,以及开源在未来AI中的作用。正如我们通过关注美国的讨论和美国政府的动向所看到的,人们对开源有很多担忧。
有人担心,如果存在人们可以修改、使用和分享的开源AI,那么许多坏人就能利用AI做坏事,而且不仅如此,可怕的事情还可能发生。比如,你可能会出现一个基于中国的大语言模型,它部分基于一家美国公司构建的基础设施,而这家公司是由一个法国人创建的。他们拿走了基础设施,构建了一个不同的模型,使用了不同的数据。你可能会出现类似这样的糟糕结果,并冲上Hugging Face的排行榜。
因此,人们对开源有很多担忧。但在这个小组中,我猜我们会在一定程度上倾向于开源。Yann,你是AI领域开源一切的主要倡导者之一,所以我们为什么不从你开始,先阐述你的观点,然后我们再进行反驳,看看讨论会走向何方。
Yann LeCun, New York University: 在技术发展史上,当某样东西被视为基础的、通用的平台时,它最终往往会成为开源的,对吧?互联网的软件基础设施就是如此。原因在于,它更安全,进步也更快。而且,我们在过去十年左右看到AI快速进步的原因,正是因为人们在实践开放研究。因为一旦你获得了一项成果,你就会把它发布到arXiv上,并开源你的代码,每个人都可以复用它。
我们还有像PyTorch这样大家都在使用的通用软件平台。因此,这使得整个领域加速发展,因为有大量的人在参与其中,你知道,他们是自我选择的。这就是为什么存在那种神奇的开放研究和开源。因此,保持这种快速进步的方法,就是保持研究的开放性。所以,如果你因为恐惧而通过立法将开源从世上消除,你就会减缓进步,而坏人无论如何都会获得它,并且他们只会追赶上世界其他地方。
Nicholas Thompson, The Atlantic: 所以你是完全支持开源的。那么即使你知道人们正在构建,比如,我不知道,性机器人,而人们不再彼此建立联系,你也支持吗?
Yann LeCun: 好的,这里面有一个很大的问题,那就是你认为智能系统的哪些行为是可以接受的。在座的每个人的答案都会不同,特别是如果你来自语言、文化、价值观或兴趣中心各不相同的国家。所以,并不是说,如果AI系统是由美国西海岸的少数几家公司生产的,我们就有可能拥有能够满足我们所有兴趣的AI系统。
在不太遥远的未来,我们与数字世界的所有互动都将由AI系统来中介,这是我们唯一的途径。它们将存在于我们的眼镜、智能手机或其他任何设备中,并将像人类助理一样协助我们的日常生活。我们所有的数字饮食都将由AI系统来调配。
你不会希望这一切都由少数私营公司控制。因此,基础模型必须是开源的,然后在此之上,将会有由各个群体为特定文化、语言、价值观、兴趣中心等而构建的系统,这些群体可以为了这一目的对这些系统进行微调。出于与我们需要多元化新闻媒体相同的原因,我们需要多元化的AI系统群体,以满足所有利益诉求。因此,你知道,这不会被立法,也不应该被立法。
Nicholas Thompson, The Atlantic: 那么,在座的每个人是否都同意Facebook的首席AI研究员的观点,即希望最大限度地将权力从美国西海岸的大型科技公司下放?
Aidan Gomez, Cohere Inc.: 我本来想说,我支持这一点。我喜欢这个观点,但我想对其中一些观点提出反驳。
Nicholas Thompson, The Atlantic: 请指出这些观点。
Aidan Gomez, Cohere Inc.: 是的。我只是想说,我不认为这是一个二元选择。我不认为你必须在开源和闭源之间做出选择,我完全同意,你不应该通过监管并制定禁止开源的政策,我的意思是,我不知道有很多人在提议这样做,但如果有人这样提议,我确实认为这里存在一个中间地带。我认为有一些类别的模型可以并且应该开源,从而赋能创造者。对吧?比如那些想要构建新体验、进行实验、试图颠覆大型西海岸科技公司的黑客,他们绝对应该有权获取相应的技术来做到这一点。
与此同时,也有一些组织正试图围绕这项技术建立业务。我们希望创造竞争优势。我们应该有权保持我们的模型闭源,而这也应该是可以接受的。因此,应该存在这样一种混合的生态系统,而不是只有一种模式。我知道,中间的答案总是很无聊,我或许应该走极端,让这个话题变得更有意思一些。
Nicholas Thompson, The Atlantic: 有很多人并没有直接试图通过立法将开源从世上消除,但拜登政府签署了一项行政命令,要求,你知道,需要庞大的法律团队向美国政府提交红队测试结果。一家开源AI公司根本不可能遵守这一要求。我的意思是,确实有一些立法提案,其效果将是使权力集中在相对较少的几家公司手中。
Andrew Ng, DeepLearning.AI, LLC: 没错。
Aidan Gomez, Cohere Inc.: 是的,我想那是真的。
Nicholas Thompson, The Atlantic: 那么,有没有人想对Yann关于开源的观点进行反驳或加以补充?
Andrew Ng, DeepLearning.AI, LLC: 所以,我在某些方面同意Yann,在一点上不同意,也就是说,对我来说,问题在于我们是否认为,拥有更多智能会让世界变得更好。对吧?我们主要用这个概念来指人类智能。现在对于人工智能,我认为那种往往能让社会更富裕、让人们生活得更好的智能,而通过开源智能,我们可以让更多人获得它,同时承认,是的,在某些情况下,智能确实可能被用于邪恶目的,但总体而言,我认为它实际上会让我们所有人都变得好得多。
我的观点可能与Yann略有不同:基础设施天然适合开源。我希望事实如此,但如今我们所有人都在Nvidia、AMD和Intel的技术之上构建,我们都依托云服务,而半导体设计却非常封闭。在我看来,推动出台积极的监管政策,实际上取决于我们自己。一个社会究竟要保持多大程度的开放或封闭,实际上是我们共同的选择。目前确实有一些强大的力量,在一定程度上成功推动了监管提案,对开源施加了极为沉重的要求。我认为我们正处于一个非常危险的时刻,过度监管的风险远大于监管不足的风险。坦率地说,当我在华盛顿特区与人交往时,几乎能感受到数以亿计美元的游说资金,正试图以一项重大的政策议程来规范人工智能,意图扼杀开源,因为某些公司可能更愿意不与之竞争。
Nicholas Thompson,《大西洋月刊》:Kai-Fu,你们是否做到了最大程度的开源?
李开复,零一万物:我们做得并非最大程度开源,但我几乎完全赞同Yann的观点。我想再强调一点:少数几家公司掌握最大权力并主导模型,会造成巨大的不平等,这种不平等不仅体现在较不富裕的人群和较贫穷的国家之间,也体现在教授、研究人员、学生、创业者和业余爱好者之间。如果没有开源,他们要如何学习?因为他们可能会成为下一位创造者、发明者或应用开发者。若迫使他们只能在一两个平台上开发,我认为这将极大地限制创新。
Nicholas Thompson,《大西洋月刊》:这一定正确吗?昨晚在创新者晚宴上,我听到Sam Altman发表观点,我记得你也在场。他认为,OpenAI最理想的定位是打造一台超越通用人工智能(AGI)的完美机器,然后免费提供给大众,以此减少收入不平等。因此,要减少收入不平等,其实并不一定需要开源。
李开复,零一万物:嗯,这是一种利他主义,我想大家自然都会这样想,对吧?所以我认为,尽可能让最多的人获得技术,要好得多,而我绝对反对监管。我还想说,我不确定是否同意Yann的观点,即基础模型必须完全开源。我认为,有些公司可能希望在基础模型层面建立竞争优势,但我认为这两种可能性都是可行的。
Yann LeCun,纽约大学:你提到Sam Altman说,OpenAI并不垄断好的想法。他们无法独自实现AGI,不论他们所说的AGI是什么意思。事实上,他们使用PyTorch,他们使用Transformer。我的意思是,他们使用的是许多人发表的成果,我们这些基础设施领域的人……而他们最近却闭口不言,因为要保持竞争优势,而这是唯一能产生收入的方式。但他们是在从我之前提到的开放研究生态中获益。
李开复,零一万物:而这一领域最大的两家公司,限制论文发表的程度,远超我在任何快速发展领域所见。
Daphne Koller,Insitro Inc:继续这个话题,我的意思是,这些公司构建的模型,对某些应用可能非常出色,但对其他应用未必是合适的基础。因此,如果将可用的基础模型限制在一两家或三家公司的范围内,而这些公司只针对特定用例进行设计,那么下一位创新者可能很难基于其全新的创意或全新的数据形态来构建新应用,而这些数据形态并未包含在这些公司最初设计模型时的构想之中,这未必是合适的过渡。
如果你不建立一个强大的开源模型基础,让其他人可以在其上构建,我认为你就是在扼杀创新。我同意Aidan和Kai-Fu的观点,并非每个人生成的每个模型都必须开源。我认为,人们当然可以凭借新的模型架构或新的数据形态获得竞争优势,但社区需要一个强大的开源模型基础作为构建之本。
Nicholas Thompson,《大西洋月刊》:好的。我们大约还剩一分半钟。所以我想快速进行一轮发言。Kai-Fu提到,开源对于让世界更加平等至关重要。上一次技术革命似乎或多或少让世界变得更加不平等。要使世界更加平等,人工智能需要发生什么?请简要说说你希望看到的一件事。
Yann LeCun,纽约大学:我认为平等问题……当然,开源传播是实现平等的一大因素。至于经济平等,这是财政问题,是财政政策问题,而不是技术问题。
Andrew Ng,DeepLearning.AI, LLC:我认为培训。当我观察企业中AI的应用情况时,培训有时是许多公司最大的瓶颈之一。关键在于,相关选项已经存在,你需要提升员工技能,不仅是为了构建AI应用,也是为了使用这些工具,因为这能非常迅速地带来生产力提升。
Daphne Koller,Insitro Inc:因此,或许并不令人意外,因为Andrew和我共同创立了Coursera,我想稍微延伸一下Andrew的回答,并说:教育。能否使用这项技术的人与不能使用的人之间,最大的分水岭之一是结构化思维。我们对孩子的结构化思维教育远远不够。我认为,这是一项我们需要从小学阶段就开始培养的技能,因为它将是能否成功使用这项技术的关键差异。
李开复,零一万物:全球竞争。我认为,一家公司主导一切不仅危险,还会扼杀创新,更多的竞争将有助于解决这一问题;同时也需要全球视野,因为我们必须谨慎对待这一事实:这是技术平台首次附带其自身的意识形态、价值观和偏见。因此,我们必须让不同的人群、文化、国家和宗教发展各自的模型,并在全球范围内平等竞争,而不能让任何一个国家主导。
Aidan Gomez,Cohere Inc.:是的,我认为是可及性。让技术可及,并确保每个人都能为其作出贡献,使其能够使用他们的语言、了解他们的文化,这对于实现平等至关重要。
Nicholas Thompson,《大西洋月刊》:好的。这是一场精彩的小组讨论。谢谢你们,大家都非常出色。谢谢。
请向下滚动查看完整播客文稿,点击“显示更多”箭头即可展开
生成式人工智能正在以指数级速度发展。前沿研究与应用领域正在发生什么?新技术与新方法如何改变前沿生成式人工智能模型相关的风险与机遇?
主讲嘉宾:
Yann LeCun,纽约大学数据科学、计算机科学、神经科学与电气工程银牌教授
Nicholas Thompson,《大西洋月刊》首席执行官
李开复,零一万物创始人
Daphne Koller,Insitro Inc创始人兼首席执行官
Andrew Ng,DeepLearning.AI, LLC创始人
Aidan Gomez,Cohere Inc.联合创始人兼首席执行官
这是世界经济论坛2024年年会一场活动的完整音频
关注达沃斯的全部动态,请访问 wef.ch/wef24 ,并在社交媒体上使用话题标签 #WEF24 参与讨论。
请在 wef.ch/podcasts 查看我们的全部播客。
YouTube:https://www.youtube.com/@wef
达沃斯电台 - 订阅:https://pod.link/1504682164
会见领袖 - 订阅:https://pod.link/1534915560
议程对话 - 订阅:https://pod.link/1574956552
世界经济论坛读书会播客 - 订阅:https://pod.link/1599305768
加入世界经济论坛播客俱乐部:https://www.facebook.com/groups/wefpodcastclub



