你的下一次同行评审会由……机器人完成吗?

A Universal Robots employee demonstrates how a model of their industrial robot arms works in Singapore March 3, 2017. Picture taken March 3, 2017. REUTERS/Edgar Su - RTS14950
Could AI eliminate the shortcomings of human peer-to-peer reviews?Image: REUTERS/Edgar Su
本内容由人工智能自动翻译。

同行评审是科学出版不可或缺的一环。

这是一个由特定领域的专家评估同一学科研究人员所做工作的过程。

同行评审旨在确保科学准确性、主张和研究方法的可信度,维持标准并提升稿件质量。

同行评审的另一项重要作用,是确保稿件适合目标期刊,并为未来研究指明新的方向。

早期的同行评审采取友好的科学家面对面交流或通信往来的形式。后来,它逐渐发展为一套正式而严格的流程,用于评估科学知识。

遗憾的是,同行评审也成了许多科学家的噩梦。

同行评审中的恩怨算计

同行评审在规范科学研究方面无疑发挥着重要作用,但这一过程本身已成为争议焦点。

评审人应审查研究,并向编辑提供公正、高质量的反馈,指出所有优点和不足,并提出改进建议。

然而,如今的评审过程在很大程度上受到各种利益角力的影响。

评审人由编辑选定,只有编辑知道其身份;而在多数情况下,评审人知道作者是谁。

试想一下,如果你的职业对手或竞争者成为评审人,可能会发生什么?

由于评审人身份不公开,他们往往可以贬低研究成果而不承担任何后果。

嫉妒

嫉妒是破坏这一流程的重要因素。许多评审人嫉妒那些在其专长领域提出新颖且可能产生重大影响的想法的同事,常常会寻找理由拒绝这类稿件。

过去曾有确凿案例:评审人拒绝一篇稿件后,却自行追寻其中的想法并提出自己的版本。

遗憾的是,编辑往往偏袒评审人,而非作者。

科学领域已变得如此广泛,以至于某一领域的专家可能缺乏有效评估一篇研究论文所需的知识或专长。

科学家通常工作繁忙,而同行评审过程对时间和知识都有较高要求;因此,一些同行评审的质量令人质疑。

人们曾尝试以不同方式解决同行评审相关问题,包括双盲同行评审,即只有编辑知道评审人和作者的身份;或者引入至少两到三名独立评审人,以消除偏见。这些做法改善了评审流程,但并未消除科学评审面临的所有挑战。

著名科学期刊《自然》近期的一项研究显示,科学研究的可重复性正面临严重危机,而这可能与同行评审不力有关。

根据《自然》的调查,超过70%的受访者称,他们无法重复同事得出的科学数据;超过半数的人甚至无法重复自己的实验。

人工智能与同行评审

几个月前,我领略了IBM Watson的强大功能。它是IBM开发的一款人工智能(AI)。

在伦敦由全球塑造者社区组织的一场政策黑客马拉松活动上,一个团队展示了一个基于IBM Watson的系统,它能够观看政治人物发表演讲的YouTube视频。

该系统会分析他们的言语和肢体语言,然后在互联网上搜索与政治人物主张以及讨论背景相关的其他信息,以判断演讲者是否在说实话。

这个原型仅用整整两天时间就开发完成!

那么,引入人工评审人,让类似系统为科学知识带来更高的客观性和更完善的治理,是否可行?

是的,我认为可行。

人工同行评审流程可通过提高客观性、拓展专业知识(参考并比较以往研究),并将整体评审时间缩短至近乎即时,从而消除困扰当前同行评审流程的所有问题。(有些情况下,同行评审可能需要长达两个月甚至更久。)

所有必需数据都可以通过对已发表研究进行数据挖掘获得。

我知道你在想什么:如果以往的数据有误怎么办?

人工智能评审人也可以通过开展“逆向同行评审”来解决这个问题,评估已发表研究的正确性和可信度。

基于人工智能的同行评审系统可能如何运作

同行评审的未来会是人工智能吗?

不过,现有数据的可靠性并非人工智能同行评审会引发的唯一问题。

此外还存在问责问题:如果结果有误,谁来负责?

或者,如果人工智能遭到破坏怎么办?我们已经见识过公众对微软的人工智能聊天机器人Tay做了什么。

科学知识的准确性是否足以为人工评审人提供可靠的训练数据集?如果你相信《自然》的研究,答案是否定的。

我们应该彻底消除人的因素,还是将人工智能同行评审视为决策过程中的辅助或初步依据?

这些问题以及更多问题都需要深入思考。

此外,在我们看到人工智能同行评审投入实际应用之前,还必须解决许多法律问题。

人工智能虽然可以解决同行评审系统当前面临的所有问题,但也可能给这一流程带来新的挑战。

另一个自然浮现的问题是:如果人工智能能够评审论文,它什么时候会开始写论文?

只要这些问题有了足够的答案,下一代评审人或许就会由硅构成。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。