借助人类与机器的共同训练,一款人工智能模型的表现优于其他标题党检测工具,新研究显示。
此外,这款基于人工智能的新方案还能够区分由机器或机器人生成的标题与人类撰写的标题,他们表示。
在一项研究中,研究人员要求参与者自行撰写标题党——即一种看似有趣但具有误导性的新闻标题,旨在吸引读者点击进入点击链接其他网络故事。研究人员还对机器进行编程,使其生成人工标题党。随后,研究人员将人类和机器生成的标题作为数据,用于训练标题党检测算法。
据研究人员介绍,该算法预测标题党标题的能力比其他系统高出约14.5%。研究人员在发布了他们的研究成果,该成果发表于2019年IEEE/ACM社会网络分析进展国际会议。
为算法提供数据
除了用于标题党检测,该团队的方法或许还有助于整体提升机器学习的性能,宾夕法尼亚州立大学信息科学与技术学院副教授、该项目的首席研究员、宾州州立大学网络科学研究所附属研究员李东元(Dongwon Lee)表示。
“这一结果相当有意思,因为我们成功证明,机器生成的标题党训练数据可以反馈至训练流程中,用于训练多种机器学习模型,从而提升其性能,”李东元表示。
“这是朝着解决监督式机器学习根本瓶颈迈出的一步,该瓶颈在于其需要大量高质量的训练数据。”
据宾夕法尼亚州立大学信息科学与技术学院博士生Thai Le介绍,标题党检测技术发展面临的挑战之一,是缺乏带标签的数据。正如人需要老师和学习资料来帮助学习,人工智能模型也需要带标签的数据,以帮助其学会建立正确的关联。
“我们在启动这一项目时发现的一个问题是,我们没有足够多的正样本数据,”Le表示。“要识别标题党,我们需要由人工对训练数据进行标注。因此,有必要增加正样本数据的数量,以便日后训练出更优的模型。”
寻找标题党
虽然在互联网上找到标题党并不难,但其众多变体又增加了一层难度,宾夕法尼亚州立大学传播效果教授、传播效果研究实验室联合主任S. Shyam Sundar表示。
“有些标题党是列表式文章,即所谓的“listicle”;有些则以问题形式呈现;还有一些以“谁、何事、何地、何时”开头;此外,我们多年来在研究中还识别出各种其他变体,”Sundar表示。“因此,要获取足够多此类标题党的样本是一项挑战。尽管我们都抱怨周围的标题党数量太多,但当真正着手获取并标注这些数据时,就会发现这类数据集并不多。”
研究人员称,该研究揭示了人类与机器在标题创作方式上的差异。与机器生成的标题党相比,人类撰写的标题往往含有更多限定词,即“which”和“that”等词。
训练似乎也促使标题党创作出现差异。例如,经过训练的写作者(如记者)相比其他参与者,往往会使用更长的词汇和更多的代词。记者还倾向于以数字开头撰写标题。
据Sundar介绍,研究人员计划利用这些发现指导其相关研究,以建立更稳健的假新闻检测系统,并探索其他应用。
“对我们而言,标题党只是构成假新闻的众多要素之一,但这项研究是一个有益的前期步骤,有助于确保我们建立起良好的标题党检测系统,”Sundar表示。
为了在本研究中招募人工标题党撰稿人,研究人员从新闻学专业学生及亚马逊土耳其机器人(Amazon Turk,一个在线众包平台)上的工作者中招募参与者。他们从该平台共招募了125名学生和85名工作者。参与者首先阅读了标题党的定义,随后研究人员请他们阅读一篇约500字的短文,接着要求参与者为每篇文章撰写一个标题党式标题。
一种名为变分自编码器(Variational Autoencoder,简称VAE)的机器学习模型生成式模型,依靠概率来发现数据中的规律,生成了机器生成的标题党标题。
研究人员将其算法与2017年“标题党挑战赛”(Clickbait Challenge 2017,一项在线标题党检测竞赛)中表现最佳的系统进行了测试。
宾夕法尼亚州立大学和亚利桑那州立大学的其他研究人员也为该项工作做出了贡献。该工作得到了美国国家科学基金会、橡树岭联合大学以及美国海军研究办公室的支持。


