麻省理工学院研究人员的一项新研究表明,来自普通读者群体的众包准确性判断,在应对虚假信息方面,其影响力可与专业事实核查人员的工作相媲美。
这可能是“虚假信息应对工具包”中一个颇有前景的新增工具。
读者可以通过一系列项目对内容进行评估,例如Facebook的“社区审查”(Community Review)平台。
然而,人们已对如何给予参与者足够的激励以促使其参与提出担忧。
面对虚假信息带来的严重担忧,社交媒体网络和新闻机构常常雇用事实核查人员来辨别真假。但事实核查人员只能审查网上流传的一小部分内容。
麻省理工学院研究人员的一项新研究表明,另一种途径是:来自普通读者群体的众包准确性判断,其效果几乎可与专业事实核查人员的工作相媲美。
“事实核查面临的一个问题在于,需要核查的内容实在太多,专业事实核查人员难以全部覆盖,尤其是在合理的时间范围内。”珍妮弗·艾伦(Jennifer Allen)说道。她是麻省理工学院斯隆管理学院的博士生,也是新近发表的详细介绍该研究的论文的合著者。
但本次研究审查了Facebook算法标记为需进一步审查的200多篇新闻报道,或许已找到解决该问题的途径:借助规模相对较小、政治立场均衡的普通读者小组,来评估新闻报道的标题和导语。
“我们发现这一结果令人鼓舞,”艾伦说。“由10至15人组成的群体给出的平均评分,与事实核查人员之间的相关性,与事实核查人员彼此之间的相关性相当。这有助于解决可扩展性问题,因为这些评分者是没有接受过事实核查培训的普通人,他们只阅读标题和导语,无需花时间进行任何调查研究。”
这意味着,这种众包方法可以广泛部署,而且成本低廉。该研究估计,以这种方式让读者评估新闻的成本约为每篇0.90美元。
“网络虚假新闻问题没有任何单一解决方案,”麻省理工学院斯隆管理学院教授、本研究的资深合著者大卫·兰德(David Rand)说。“但我们正致力于将有前景的方法加入反虚假信息工具包。”
论文《利用群体智慧扩大事实核查规模》(“Scaling up Fact-Checking Using the Wisdom of Crowds”)今日发表于《科学进展》(Science Advances)。合著者包括艾伦;麻省理工学院人类合作实验室研究科学家安东尼奥·A·阿雷恰尔(Antonio A. Arechar);里贾纳大学希尔/莱文商学院行为科学助理教授戈登·彭尼库克(Gordon Pennycook);以及兰德,他是麻省理工学院的欧文·H·舍尔讲席教授,兼管理科学与脑与认知科学教授,并担任麻省理工学院应用合作实验室主任。
关键的读者规模
为开展该研究,研究人员使用了207篇新闻报道,这些报道是Facebook内部算法标记为需要事实核查的,原因或是有理由认为其存在问题,或仅因其被广泛分享,或涉及健康等重要话题。该实验利用亚马逊的Mechanical Turk平台招募了1128名美国居民。
这些参与者获得了20篇新闻报道的标题和导语,并被要求回答七个问题——新闻内容在多大程度上“准确”“真实”“可靠”“值得信赖”“客观”“不带偏见”,以及“描述了一件确实发生过的事件”——从而就每条新闻生成总体准确性评分。
与此同时,三名专业事实核查人员获得了全部207篇报道,要求他们在调查研究后对这些报道进行评估。与其他关于事实核查的研究一致,尽管事实核查人员的评分之间高度相关,但他们的一致程度远非完美。约49%的情况下,三名事实核查人员对某篇报道的事实性给出了相同的正确结论;约42%的情况下,三人中有两人意见一致;约9%的情况下,三人各自给出了不同的评分。
耐人寻味的是,当研究招募的普通读者被划分为民主党人与共和党人人数相同的小组时,他们的平均评分与专业事实核查人员的评分高度相关——只要读者人数达到至少两位数,群体评分与事实核查人员之间的相关性,就与事实核查人员彼此之间的相关性同样强。
“这些读者未接受过事实核查培训,而且他们只阅读了标题和导语,即便如此,他们仍能够与事实核查人员的表现相匹配,”艾伦说。
起初,一群12至20名读者能够与专业事实核查人员的表现相匹配,可能看似令人惊讶,但这是一个经典现象的又一例证:群体智慧。在众多应用领域中,人们发现普通人组成的群体,其判断能够匹敌甚至超越专家判断。本研究表明,即便在虚假信息识别这一高度两极分化的语境中,这一现象也可能出现。
实验参与者还参加了政治知识测试和分析性思维倾向测试。总体而言,对公民议题了解更多、分析性思维参与度更高的人,其评分与事实核查人员的判断更为接近。
“推理参与度更高、知识更丰富的人,与事实核查人员的看法更加一致,”兰德说。“而且无论他们是民主党人还是共和党人,结果都是如此。”
参与机制
学者们表示,这一发现可以通过多种方式加以应用,并指出一些社交媒体巨头正积极尝试让众包发挥作用。Facebook设有一个名为“社区审查”的项目,聘请普通人评估新闻内容;Twitter则有自己的项目Birdwatch,征集读者对推文真实性的意见。群体智慧既可用于为面向公众的内容添加标签,也可用于为排序算法提供参考,决定一开始向用户展示哪些内容。
作者指出,可以肯定的是,任何使用众包的机构都需要找到让读者参与的良好机制。如果参与对所有人开放,众包过程就有可能受到党派人士的不当影响。
“我们尚未在任何人都可以自愿加入的环境中对此进行测试,”艾伦指出。“平台不应想当然地认为,其他众包策略也会产生同样积极的结果。”
另一方面,兰德表示,新闻和社交媒体机构需要想办法让足够多的人积极参与评估新闻内容,众包才能发挥作用。
“大多数人并不关心政治,也不会愿意花力气去影响事务,”兰德说。“但令人担忧的是,如果允许人们对任何他们想要的内容进行评分,那么唯一参与其中的人就只会是那些想要操纵系统的人。不过,在我看来,比起被狂热分子淹没,更大的担忧是没有人愿意去做这件事。这是一个典型的公共物品问题:整个社会都能从人们识别虚假信息中受益,但用户又何必花费时间和精力去给出评分呢?”
该研究部分得到了威廉和弗洛拉·休利特基金会、约翰·邓普顿基金会以及Omidyar Group旗下Luminate Project Limited的Reset项目的支持。艾伦曾是Facebook员工,目前仍在Facebook拥有经济利益;兰德的其他研究部分得到谷歌的支持。



