ChatGPT 有助于推动研究过程的民主化,方法如下

A ChatGPT screenshot
ChatGPT can help academic researchers in some areas, two professors say.Image: Unsplash
本内容由人工智能自动翻译。
  • 部分期刊出版商因担心其可能存在不准确信息和抄袭问题,已禁止或限制在学术研究中使用 ChatGPT。

  • 然而,两位教授认为,出版商和研究人员应将 ChatGPT 视为一种低成本甚至免费的电子助手。

  • 他们表示,ChatGPT 似乎擅长获取一组外部文本并将其关联起来。

  • 然而,在概念化过程包含更多阶段的复杂任务(例如文献综述)中,它的表现似乎较弱。

全球一些最大的学术期刊出版商已禁止或限制其作者使用这款先进的聊天机器人 ChatGPT。由于该机器人会利用互联网信息,生成可读性很强的问题答案,出版商担心不准确或抄袭的内容可能进入学术文献。

已有多位研究人员将该聊天机器人列为学术研究的合著者,部分出版商也已着手禁止这种做法。然而,全球顶尖科学期刊之一《Science》的主编更进一步,禁止在投稿论文中使用该程序生成的任何文本。

学术出版商对此类聊天机器人的使用感兴趣,这并不令人意外。我们近期发表于Finance Research Letters的研究表明,ChatGPT 可被用于撰写一篇能够被学术期刊录用的金融论文。尽管该机器人在某些方面的表现优于其他方面,但在期刊审稿人看来,加入我们自身的专业知识有助于弥补该程序的局限性。

然而,我们认为,出版商和研究人员不一定要将 ChatGPT 视为威胁,而应将其视为一个可能十分重要的研究助手,即一种低成本甚至免费的电子助手。

萨蒂亚·纳德拉谈 ChatGPT 如何帮助印度村民
萨蒂亚·纳德拉谈 ChatGPT 如何帮助印度村民
02:15

我们的思路是:如果仅凭直接使用就能轻松从 ChatGPT 获得良好结果,那么或许我们还可以做些额外的工作,把这些良好结果变得更加出色。

我们首先要求 ChatGPT 生成研究论文的四个标准部分:研究构想、文献综述(对同一主题既往学术研究的评估)、数据集,以及测试与检验建议。我们仅指定了宽泛的主题,并要求输出内容能够发表于“一流金融期刊”。

这是我们使用 ChatGPT 的第一个版本。对于第二个版本,我们将略少于 200 篇相关现有研究的摘要(概要)粘贴到 ChatGPT 窗口中。

随后,我们要求该程序在构建这四个研究阶段时将这些摘要纳入考量。最后,在第三个版本中,我们加入了“领域专业知识”,即学术研究人员的意见。我们阅读了计算机程序生成的答案,并提出了改进建议。通过这一过程,我们将自身的专业知识与 ChatGPT 的能力相结合。

随后,我们邀请了一个由 32 名审稿人组成的小组,让每人评审 ChatGPT 生成学术研究的一个版本。审稿人需评估输出内容是否足够全面、准确,以及其贡献是否足够新颖,从而能够发表于一流的“优质”学术金融期刊。

最重要的启示是,专家审稿人普遍认为所有这些研究都是可以接受的。这一结果相当令人惊讶:一个聊天机器人被认为有能力生成高质量的学术研究构想。这引发了根本性问题,涉及创造力的含义以及创意所有权等问题,而目前尚无人能给出确切答案。

ChatGPT 有助于推动研究过程的民主化Image: Unsplash/headwayio

优势与劣势

研究结果也凸显了 ChatGPT 的一些潜在优势与劣势。我们发现,不同研究部分的评分各不相同。研究构想和数据集的评分往往较高。文献综述和测试建议的评分较低,但仍可接受。

我们的推测是,ChatGPT 尤其擅长获取一组外部文本并将其关联起来(这正是研究构想的核心),或者从一份文档中提取易于识别的部分并加以调整(例如数据摘要,这在大多数研究中都是易于识别的“文本片段”)。

当任务更加复杂,即概念化过程包含过多阶段时,该平台的相对劣势便显现出来。文献综述和测试往往属于这一类。ChatGPT 在其中一些步骤上表现较好,但并非全部如此。审稿人似乎也注意到了这一点。

不过,我们在最先进的版本(第三版)中成功克服了这些局限,我们与 ChatGPT 协作,得出了可接受的结果。审稿人随后对该先进研究的所有部分都给予了较高评价,这表明学术研究人员的作用尚未过时。

伦理影响

ChatGPT 是一种工具。在我们的研究中,我们证明了只要谨慎使用,它就能生成可接受的金融研究论文。即使不加谨慎,它也能生成看似合理的成果。

这显然带来了一些伦理影响。研究诚信已成为学术界一个紧迫的问题,而 RetractionWatch 等网站不断曝光大量虚假、抄袭以及纯粹错误的研究论文。ChatGPT 是否可能使这一问题变得更加严重?

简短的回答是,它可能会。但覆水难收。这项技术也只会(并且很快)变得更加成熟。究竟如何认定并监管 ChatGPT 在研究中的作用,是一个更大的问题,有待另日探讨。不过,我们的研究结果在这方面也具有参考价值:研究发现,融入研究人员专业知识的 ChatGPT 研究版本更为优越,这表明在可接受的研究中,人类研究人员的投入依然至关重要。

就目前而言,我们认为研究人员应将 ChatGPT 视为助手,而非威胁。它尤其可能成为那些通常缺乏资金支持、难以获得传统(人工)研究助理协助的研究群体的助手,例如新兴经济体的研究人员、研究生和职业生涯初期的研究人员。ChatGPT(及类似程序)完全有可能助力研究过程的民主化。

但研究人员需要留意期刊论文撰写中禁止使用该工具的规定。显然,人们对这项技术的看法存在巨大分歧,因此使用时需要谨慎。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。