麻省理工学院推出“影响力行动侦察”(RIO)项目,用于自动检测网络上的虚假信息叙事。
在2017年法国大选前的几天里,研究人员借助RIO系统,以96%的精确率识别出虚假信息账号。
研究团队希望进一步开发这一RIO工具,以便政府和产业界都能用它来抵御虚假信息。
虚假信息宣传并不新鲜——想想战时用来左右公众舆论、对抗敌人的宣传。然而,新的是利用互联网和社交媒体传播这些宣传活动。通过社交媒体传播的虚假信息有能力改变选举、强化阴谋论并制造分歧。
史蒂文·史密斯是麻省理工学院林肯实验室人工智能软件架构与算法小组的工作人员,他所在的团队启动了“影响力行动侦察”(RIO)项目,旨在更深入地了解这些宣传活动。他们的目标是打造一个系统,既能自动检测虚假信息叙事,也能识别在社交媒体网络中传播这些叙事的个人。今年早些时候,该团队发表了一篇论文,介绍了其研究工作,发表于《美国国家科学院院刊》,并于去年秋天获得了R&D 100奖。
该项目始于2014年,当时史密斯及同事正在研究恶意团体如何利用社交媒体。他们注意到,来自那些看似在推送亲俄叙事的账号的社交媒体数据中,出现了活动增加且异常的情况。
史密斯谈及这些数据时说:“我们当时有些摸不着头脑。”于是,该团队通过实验室的技术办公室申请了内部资金,并启动该项目,以研究类似技术是否会被用于2017年法国大选。
在选举前的30天里,RIO团队收集了实时社交媒体数据,用以搜索和分析虚假信息的传播情况。他们总共汇编了来自100万个账号的2800万条推特帖文。随后,借助RIO系统,他们以96%的精确率检测出了虚假信息账号。
RIO系统的独特之处在于,它结合了多种分析技术,从而全面呈现虚假信息叙事的传播地点和方式。
“如果你想回答社交网络中谁具有影响力这一问题,传统上,人们会看活跃度数据,”参与该研究团队的另一位成员爱德华·高(Edward Kao)说道。例如在推特上,分析人员会考虑推文和转推的数量。“我们发现,在许多情况下,这种做法并不充分。它实际上无法说明这些账号对社交网络的影响力。”
作为高在实验室“林肯学者”项目(一项学费资助计划)中的博士研究工作的一部分,他开发了一种统计方法(现已用于RIO),不仅用于判断某一社交媒体账号是否在传播虚假信息,还用于判断该账号在多大程度上促使整个网络发生变化并放大信息。
研究团队的另一位成员埃丽卡·麦金(Erika Mackin)还应用了一种新的机器学习方法,帮助RIO通过分析与账号行为相关的数据对这些账号进行分类,这些行为包括该账号是否与外国媒体互动以及使用何种语言。这一方法使RIO能够检测在各类活动中活跃的敌对账号,涵盖从2017年法国总统大选到新冠疫情相关虚假信息传播等多种情况。
RIO的另一独特之处在于,它能够检测并量化由机器人和人类共同操控的账号的影响力,而目前大多数在用的自动化系统只能检测机器人。RIO还能帮助使用者预测不同的应对措施可能如何遏制某一特定虚假信息活动的传播。
世界经济论坛在网络安全领域开展了哪些工作
网络安全中心提供了一个可信赖的平台,让各界领袖齐聚一堂,共同理解不断演变的网络风险及其系统性影响。该中心致力于在日益互联互通的数字世界中建立理解与信任。
通过促进跨行业合作与洞见共享,该中心帮助合作伙伴增强网络韧性,应对需要集体应对的挑战。
该团队设想,RIO不仅可被政府和产业界使用,还可超越社交媒体,应用于报纸和电视等传统媒体领域。目前,他们正与西点军校学员约瑟夫·施莱辛格合作,后者同时也是麻省理工学院的研究生及林肯实验室的军事研究员,共同研究叙事如何在欧洲媒体机构间传播。一项新的后续项目也已启动,将深入研究影响力行动的认知层面,以及个人态度和行为如何受到虚假信息的影响。
“抵御虚假信息不仅关乎国家安全,也关乎保护民主,”高说道。


