预测学习模型已有数十年历史，但ChatGPT的新颖之处在于其训练方式，使其能够接触规模大得多的数据。
这使它能够捕捉模式，从而生成听起来非常逼真的文章、故事、诗歌、对话、戏剧等内容。
一位专家表示，计算机大脑和人脑学习新信息并运用这些信息完成任务的方式似乎存在许多相似之处。
不过，ChatGPT这类应用属于稳态系统，这意味着它们不会实时演进，尽管可能会在离线状态下不断改进。
如果ChatGPT听起来像人类，这是否意味着它的学习方式也和人类一样？计算机大脑与人脑究竟有多相似？
OpenAI开发的新技术ChatGPT模仿人类交流的能力惊人，很快就会接管世界——以及世界上的所有工作。至少，新闻标题会让人们这么相信。
2月8日，在布朗大学卡尼脑科学研究所组织的一场对谈中，两位来自不同学科的布朗大学学者探讨了人工智能与人类智能之间的相似之处。这场关于ChatGPT神经科学的讨论，让与会者得以一窥当下热门机器学习模型的内部运作。
Ellie Pavlick是计算机科学助理教授，也是Google AI的研究科学家。她研究语言的运作方式，以及如何让计算机像人类一样理解语言。
Thomas Serre是认知、语言与心理科学以及计算机科学教授，研究支持视觉感知的神经计算，重点关注生物视觉与人工视觉的交叉领域。卡尼研究所所长和副所长Diane Lipscombe与Christopher Moore分别担任主持人。
Pavlick和Serre分别从互补的角度解释了ChatGPT相对于人脑的运作方式，以及这揭示了这项技术能做什么、不能做什么。Pavlick表示，尽管围绕这项新技术议论纷纷，这个模型并不复杂，甚至也不是新事物。她解释说，最基本地说，ChatGPT是一种机器学习模型，旨在预测句子中的下一个词，然后再预测下一个词，如此继续。
专攻自然语言处理的Pavlick表示，这类预测学习模型已有数十年历史。计算机科学家长期以来一直尝试构建能表现出这种行为、并能用自然语言与人类交谈的模型。为此，模型需要访问一个由传统计算组件构成的数据库，以便对极其复杂的想法进行“推理”。
新颖之处在于ChatGPT的训练或开发方式。它能够接触难以想象的海量数据——正如Pavlick所说，“互联网上的所有句子”。
Pavlick说：“ChatGPT本身并不是转折点。转折点在于，过去五年中的某个时候，构建模型的数量增加了。这些模型的根本原理相同，但规模越来越大。随着它们不断变大，表现也越来越好。”
另一个新变化是，ChatGPT及其竞争产品如今可以免费供公众使用。Pavlick说，就在一年前，要与ChatGPT这样的系统互动，人们需要使用类似布朗大学Compute Grid的系统。这是一种专用工具，只有获得特定权限的学生、教师和工作人员才能使用，而且还需要相当程度的技术知识。但现在，无论技术能力如何，任何人都可以体验ChatGPT简洁流畅的界面。
ChatGPT真的像人类一样思考吗？
Pavlick表示，用如此庞大的数据集训练计算机系统，结果就是它似乎能够捕捉普遍模式，并显得能够生成听起来非常逼真的文章、故事、诗歌、对话、戏剧等内容。它可以生成虚假新闻报道、虚假科学发现，并产出各种出人意料地有效的结果——也就是“输出”。
这些结果的有效性让许多人相信，机器学习模型拥有像人类一样思考的能力。但它们真的能做到吗？
具有神经科学、计算机科学和工程学背景的Serre解释说，ChatGPT是一种人工神经网络。这意味着，其硬件和程序基于一组互相连接的节点，灵感来自对脑神经元的简化模拟。
Serre表示，计算机大脑和人脑学习新信息并运用这些信息完成任务的方式，确实存在许多引人入胜的相似之处。
Serre说：“一些研究开始表明，至少从表面上看，ChatGPT这类算法用于处理语言信息的词语和句子表征，与大脑似乎进行的处理之间可能存在某些联系。”
例如，他说，ChatGPT的核心是一种最先进的人工神经网络，称为Transformer网络。这些网络源自自然语言处理研究，近年来已在整个人工智能领域占据主导地位。Transformer网络有一种计算机科学家称为“自注意力”的特定机制，它与已知会在人脑中发生的注意力机制有关。
Serre表示，与人脑的另一处相似之处，是推动这项技术变得如此先进的关键因素。他解释说，过去，要训练计算机的人工神经网络学习和运用语言或执行图像识别，科学家必须完成繁琐且耗时的手动工作，例如建立数据库、标注物体类别。
ChatGPT使用的现代大型语言模型无需明确的人类监督即可训练。这似乎与Serre所说的一种影响深远的脑理论有关，即预测编码理论。该理论假设，人类听别人说话时，大脑会不断作出预测，并对接下来会说什么形成预期。
Serre表示，尽管这一理论几十年前就已提出，但尚未在神经科学领域得到全面检验。不过，它目前正推动大量实验研究。
Serre在活动中说：“我认为，至少在这两个层面上——注意力机制，以及作为核心引擎、持续预测接下来会说什么的网络——从非常粗略的层面看，它们似乎与神经科学相关理念相符。”
他指出，近期有研究将大型语言模型使用的策略与真实的大脑过程联系起来：“我们仍有很多需要了解，但越来越多的神经科学研究表明，这些大型语言模型和视觉模型在计算机中所做的事情，与我们的大脑处理自然语言时所做的事情并非毫无关联。”
从较令人担忧的方面来看，人类的学习过程容易受到偏见影响或遭到扭曲，人工智能模型也一样。Serre表示，这些系统通过统计关联进行学习。数据集中占主导地位的内容会占据上风，将其他信息挤到一边。
Serre说：“这是人工智能领域非常令人担忧的问题，而且并非语言领域独有。”他举例说，互联网上白人男性比例过高，导致一些人脸识别系统产生偏差，以至于无法识别看起来不是白人或男性的人脸。
Serre说：“这些系统的表现取决于我们提供的训练数据，而我们知道，这些训练数据本身就不够理想。”他补充说，数据也并非无穷无尽，尤其是考虑到这些系统的规模及其对数据的巨大需求。
Pavlick表示，ChatCPT的最新版本加入了强化学习层，作为护栏帮助防止生成有害或仇恨内容。但这些措施仍在不断完善中。
Pavlick说：“挑战之一在于……你不能给模型一条规则——不能只说‘绝不生成某某内容’。它通过示例学习，所以你要给它很多示例，并告诉它：‘不要做这类事。要做这类事。’因此，总是可能有人找到某种小窍门，让它做出有害的事。”
不，ChatGPT不会做梦
人脑与神经网络的一个不同之处在于睡眠，尤其是做梦时。尽管人工智能生成的文本或图像有时显得超现实、抽象或毫无意义，Pavlick表示，没有证据支持生物性做梦过程与生成式人工智能的计算过程在功能上存在对应关系。她说，理解ChatGPT这类应用属于稳态系统很重要——换句话说，它们不会在线实时演进和变化，尽管可能会在离线状态下不断改进。
Pavlick说：“这并不像是[ChatGPT]在重放、思考，并尝试以新的方式组合事物，以巩固它所知道的内容，或进行大脑中发生的种种活动。更像是：它已经完成了。这就是这个系统。我们称之为网络中的前向传递——没有反馈。它不会反思刚才做过的事，也不会据此调整自己的方式。”
Pavlick说，当人们要求人工智能创作一首关于克雷布斯循环的说唱歌曲，或生成一张某人爱犬的迷幻风格图像时，输出可能显得极具创意，但实际上只是把系统已经受训完成的任务组合在一起。与人类语言使用者不同，每一次输出都不会自动改变之后的输出，也不会强化功能，更不会以人们认为梦境运作的方式运行。
Serre和Pavlick强调，讨论人类智能或人工智能时需要谨记，科学家对这两种系统仍有很多需要了解。至于围绕ChatGPT的热潮，尤其是神经网络成功创建出几乎比真人更像人的聊天机器人的表现，Pavlick表示，这种热潮完全有其道理，尤其从技术和工程角度来看。
她说：“这令人非常兴奋！我们期待这样的系统已经很久了。”
来源：布朗大学
