如何规避ChatGPT的不准确之处

A common misconception about language models like ChatGPT is they function as some kind of "super Google", an academic explains.
A common misconception about language models like ChatGPT is they function as some kind of "super Google", an academic explains.Image: REUTERS/Dado Ruvic
本内容由人工智能自动翻译。
  • 一位学者解释说,人们对ChatGPT等语言模型常见的一种误解是,认为它们是某种“超级谷歌”。

  • 他认为,用它们从一个无限庞大的事实库中查找问题的答案,恰恰忽略了它们的用处所在。

  • 因为从本质上讲,它们的编程目标是撰写看似合理的句子,而不一定是真实的句子。

  • 他在此概述聊天机器人的工作原理,以及我们可以如何利用其能力进行创造性应用。

要让ChatGPT犯一个事实性错误,并不需要太多功夫。我儿子正在写一份关于美国总统的报告,于是我想,不如通过查阅几份传记来帮帮他。我尝试让它列出一份关于亚伯拉罕·林肯的书单,结果它完成得相当不错:

ChatGPT生成的一份较为合理的林肯相关书单。Image: The Conversation。

第4项不对。加里·威尔斯(Garry Wills)曾撰写过著名的《葛底斯堡的林肯》(Lincoln at Gettysburg),当然,林肯本人也撰写过《解放奴隶宣言》,但这份书单的开头还算不错。随后我尝试了一个更难的问题,改为询问知名度低得多的威廉·亨利·哈里森,结果它也欣然列出了一份书单,而其中几乎全部是错误的。

ChatGPT生成的关于哈里森的书单,其中正确的不到一半。Image: The Conversation。

第4和第5项是正确的;其余要么不存在,要么并非由相应作者所著。我重复了完全相同的操作,得到的结果略有不同:

ChatGPT生成的更多关于哈里森的书单,其中大多数仍然是不存在的。Image: The Conversation。

这一次,第2和第3项是正确的,其余三项要么并非真实存在的书籍,要么并非由所列作者所写。第4项《威廉·亨利·哈里森:他的生平与时代》(William Henry Harrison: His Life and Times)是一本真实存在的书,但作者是詹姆斯·A·格林(James A. Green),而非罗伯特·雷米尼(Robert Remini),后者是杰克逊时代的知名历史学家。

我指出了这一错误,ChatGPT急忙进行了更正,随后又十分肯定地告诉我,该书实际上是由盖尔·柯林斯(Gail Collins)所著的(她另撰有一部关于哈里森的传记),并接着就该书及其作者进行了更多阐述。最后我揭露了真相,而这台机器也乐于顺着我的更正继续作答。随后,我荒谬地撒了一个谎,称总统在任职的前一百天必须撰写某位前任总统的传记,结果ChatGPT当场指出了我的错误。接着,我又撒了一个较为隐蔽的谎,错误地将这本哈里森传记的作者归于历史学家兼作家保罗·C·纳格尔(Paul C. Nagel),而它竟然信以为真。

为什么科学家对 ChatGPT 作为研究论文作者感到不满
为什么科学家对 ChatGPT 作为研究论文作者感到不满
00:12

当我问ChatGPT是否确定我没有撒谎时,它声称自己只是一个“AI语言模型”,无法核实信息的准确性。然而,它随后修改了这一说法,表示:“我只能根据我所获得的训练数据提供信息,而《威廉·亨利·哈里森:他的生平与时代》这本书似乎是由保罗·C·纳格尔撰写并于1977年出版的。”

这并不属实。

是文字,而非事实

从这次互动来看,似乎ChatGPT被输入了一个事实库,其中包括关于作者和书籍的错误说法。毕竟,ChatGPT的开发者OpenAI声称,他们使用“来自互联网、由人类撰写的海量数据”对该聊天机器人进行了训练。

然而,它几乎肯定没有获得关于一位最平庸的总统的一大堆虚构书名。不过从某种意义上说,这些错误信息确实是基于其训练数据生成的。

作为一名计算机科学家,我常常听到一些抱怨,这些抱怨反映出人们对ChatGPT及其前身GPT3和GPT2等大型语言模型存在一种普遍误解:认为它们是某种“超级谷歌”,或是数字版的参考馆员,从某个无限庞大的事实库中查找问题的答案,或者将各种故事和人物拼凑在一起。它们并不做这些事——至少,它们并非被明确设计为做这些事。

听起来不错

像ChatGPT这样的语言模型,正式名称为“生成式预训练变换器”(“G”“P”“T”分别代表这三个词),它会接收当前的对话内容,根据该对话,为其词汇表中的所有词汇计算出概率,然后选择其中一个作为最可能的下一个词。接着,它会不断重复这一过程,直到停止为止。

因此,它本身并不掌握事实。它只是知道下一个应该出现的词是什么。换言之,ChatGPT并不试图撰写真实的句子,但它确实试图撰写看似合理的句子。

当我私下与同事交流有关ChatGPT的看法时,他们常常指出它会产生许多与事实不符的陈述,并因此对其不屑一顾。在我看来,认为ChatGPT是一个有缺陷的数据检索系统,这种观点其实是偏离重点的。毕竟,人们在过去二十五年间一直在使用谷歌。当前已经有一个相当不错的事实查找服务了。

事实上,我能够核实那些总统书名是否准确的唯一方法,就是通过谷歌搜索,然后核实搜索结果。如果我能通过对话获取这些事实,我的生活未必会因此好多少。我几乎大半辈子都是这样获取信息的:检索文档,然后进行批判性分析,以判断其内容是否可信。

即兴表演搭档

另一方面,如果我能与一个机器人交谈,它能对我所说的话给出看似合理的回应,那么在事实准确性并不那么重要的场合,它将会非常有用。几年前,我和一名学生曾尝试开发一个“即兴表演机器人”,它会以“是的,而且”来回应你所说的任何话,从而使对话得以延续。我们在一篇论文中证明,我们的机器人在进行“是的,而且”式回应方面,优于当时的其他机器人,但在人工智能领域,两年已是遥远的历史了。

我与ChatGPT进行了一段对话尝试——一个科幻太空探险场景——这与典型即兴表演课上的练习颇为相似。ChatGPT在“是的,而且”式回应方面远胜于我们之前的成果,但它并未真正增强戏剧张力。我感觉自己承担了所有的繁重工作。

经过几次调整后,它变得更有参与感了。归根结底,我觉得这对我而言是一项相当不错的练习,毕竟自大学毕业二十多年来,我几乎没有做过即兴表演。

作者借助ChatGPT生成的一段太空探索即兴表演场景。Image: The Conversation。

当然,我并不希望ChatGPT出现在“Whose Line Is It Anyway?”节目中,而且这也不是一个出色的《星际迷航》情节(尽管它仍比“Code of Honor”的情节问题少一些)。但是,你有多少次坐下来从零开始写作,却被面前的空白页吓得不知所措?从一份糟糕的初稿开始,可以帮助人们打破写作瓶颈,激发创作灵感。ChatGPT以及类似的大型语言模型,似乎正是协助完成此类练习的合适工具。

对于一台被设计为生成尽可能悦耳的词句以回应你所输入的文字、而非向你提供信息的机器而言,这似乎正是该工具的合适用途。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。