研究人员利用人工智能开发出能够撰写极具迷惑性的虚假网络评论的软件。
这项技术对 Yelp、亚马逊等网站，以及依赖这些网站的企业构成重大威胁。
这也预示着一个令人担忧的未来：人工智能能够撰写复杂文本，损害公众信任并传播假新闻。
对许多人来说，寻找餐厅和酒店时，首先会查看网上评论。
因此，评论已成为许多企业的命脉——它们持续记录着服务和产品的质量。这些企业也时刻警惕不公正或虚假的评论，以免心怀不满的竞争对手或愤怒的顾客发布此类内容。
不过，网上评论领域很快将面临一项重大新威胁：由人工智能（AI）自动撰写的虚假评论。
如果任由其泛滥，这些评论可能会不可挽回地损害评论网站的公信力；这项技术对社会、信任和假新闻的影响也可能广泛得多（而且更令人担忧）。
“总的来说，威胁更大。我认为，它对整个社会的威胁，以及让用户彻底失去信心、动摇我们对真实与虚假的判断，会带来更根本性的影响。”芝加哥大学计算机科学教授 Ben Y. Zhao 告诉《商业内幕》。
虚假评论难以检测，却被认为可靠
芝加哥大学的研究人员（包括 Ben Zhao）撰写了一篇论文（《在线评论系统中的自动化“众包操纵”攻击与防御》），展示了如何利用人工智能生成复杂评论：这些评论不仅无法通过当代方法检测出来，还会被毫不知情的读者视为高度可靠。
这篇论文将于今年晚些时候在 ACM 计算机与通信安全会议上发表。
以下是一条合成评论的例子：“我喜欢这家店。我和哥哥一起来，我们点了素食意面，非常美味。啤酒不错，服务也很棒。我一定会把这里推荐给所有想找个好地方享用美味早餐，或者寻找一处价格实惠的小店的人。”
乍看之下，这条评论并没有什么奇怪之处。它提出了一些具体建议，也讲述了可信的背景故事。尽管最后一句“价格实惠的小店”听起来有点别扭，但仍完全像是人类可能会说的话。
然而，事实上，这条评论是利用一种名为循环神经网络（RNN）的深度学习技术生成的。该网络经过训练，使用的是数千条可在网上免费获取的真实评论。（向下滚动，通过更多例子测试自己能否辨别虚假评论。）
研究人员写道，合成评论与真实评论“实际上难以区分”：“我们开展了一项用户研究（=600），结果表明，这些虚假评论不仅能持续躲过真实用户的检测，而且在用户感知的‘有用性’方面，与人类撰写的真实评论不相上下。”
这些评论不仅被认为可信，还被认为“有用”，这意义重大：这表明它们达到了恶意影响人们观点的目的。
这些评论也很少被剽窃检测软件识别出来，尤其是在软件设置为优先检测独特内容时。它们是逐个字符生成的，而不是简单替换现有评论中的词语。研究人员写道：“如果不误将大量真实评论标记出来，剽窃检测工具就很难识别机器生成的评论。”“这表明 RNN 并非只是复制训练集中的现有评论。”
目前还没有人实际使用这项技术——但只是暂时
人工撰写虚假评论的地下产业早已兴起。只要知道门路，而且手头有些钱，就可以付钱请人给自己的企业写好评，或给竞争对手写差评。
不过，Zhao 表示，人工智能生成的评论有可能“颠覆这个行业”。
过去，攻击者可能需要花大价钱购买高质量评论（在 Yelp 上，每条评论要 1 至 10 美元）；如今，他们可以免费生成数千条评论，并错开发布以免引起怀疑——大幅加剧虚假评论带来的威胁。
Zhao 表示，他目前还没有在现实世界中见到利用人工智能生成恶意虚假评论的案例。
不过，任何“具备相当技术能力”的人都能“很快”搭建出与研究人员所开发系统类似的系统，只需要一些普通的现成计算机硬件和真实评论数据库（网上很容易找到）。
这对评论网站构成生存威胁，但也存在潜在的防御方法
大规模制造的虚假评论对 Yelp 这类用户提交评论的网站构成重大威胁。Yelp 以评论的可靠性和实用性作为卖点。如果网站上的任何一条评论都可能是假的，人们还会相信其中任何一条吗？
亚马逊等零售商也面临风险，不过 Zhao 指出，至少亚马逊可以核实评论者是否购买过所评论的商品。
但研究人员确实找到了一种可能的防御方法。对人类来说，虚假评论或许看起来与真实评论毫无二致；但只要知道该检查什么，计算机程序就能发现细微差异，尤其是字符（字母 a、b、c、d 等）的分布。
虚假评论源自真实评论，在此过程中会丢失一些信息。虚假评论优先追求流畅、可信，因此字符分布这类不那么显眼的特征就会受到影响。
研究人员写道：“训练过程中产生的信息损失会传递到生成的文本中，从而导致生成文本与人类文本在底层字符分布上出现统计上可检测的差异。”
Zhao 表示，攻击者可以尝试绕过这些防御措施，例如购买更昂贵的计算机硬件，用来生成更复杂的神经网络。但至少，采用这类防御措施“提高了攻击者的门槛”，让大多数攻击者更难蒙混过关。
他说，如果把成功攻击的成本提高到足以劝退最顽固以外的所有攻击者，“那就算成功了”。“安全所能做的就是提高攻击者的门槛。你永远无法阻止真正坚定且足智多谋的攻击者。”
Yelp 发言人 Rachel Youngblade 在一封电子邮件声明中表示，Yelp“感谢这项研究让人们关注到 Yelp 等评论网站在保护内容完整性方面面临的巨大挑战，因为试图操纵系统的手段仍在演变，也变得越来越复杂。Yelp 已经采用相关系统保护内容十多年，但我们仍不断改进这些系统，以识别虚假评论，以及带有偏见、缺乏帮助的内容。我们感谢这项研究的作者将 Yelp 的系统用作‘真实基准’，并认可其有效性。”
“这项研究只关注如何创建看起来真实的评论文本，而 Yelp 的推荐软件采用了更全面的方法。它会综合文本内容以外的许多信号，来判断是否推荐某条评论；即使评论可能出自真人，只要缺乏价值或带有偏见，也可能不会被推荐。”
影响不止于评论……
从某些角度看，评论是测试文本合成技术的理想起点。评论的目的和方向明确，围绕单一主题，结构相当标准，而且篇幅短（Zhao 表示，虚假评论越长，出现破绽、暴露真相的可能性就越高）。
但这项技术的应用范围不会止步于此。
“总的来说，威胁更大。我认为，它对整个社会的威胁，以及让用户彻底失去信心、动摇我们对真实与虚假的判断，会带来更根本性的影响。”Zhao 说。“所以我们先从网上评论入手。你能相信某人对餐厅或产品的评价吗？但这项技术还会继续发展。”
“它会发展到更大规模的攻击：机器人可能根据某个主题，完全自主地生成整篇博客文章。届时，我们就真的必须思考信息从何而来、如何核实……我认为，未来几年这对我们所有人来说都将是更大的挑战。”
《商业内幕》此前也探讨过这一主题，相关报道包括探讨人工智能和计算机生成图像（CGI）的发展可能如何助长“假新闻”，以及其更广泛的影响，涉及从信息战到“复仇色情”等领域。
Zhao 表示，他传达的信息很“简单”：“我希望人们关注这种攻击途径，因为它是非常现实且迫在眉睫的威胁。”他敦促 Yelp 和亚马逊等企业开始考虑防御措施，除非它们的工程师已经在着手应对。
这位教授希望，“我们能更加重视为这种特定攻击设计防御措施，同时让更多人关注并思考从更日常的角度看，真正强大的人工智能带来的威胁。”
“我认为，很多人都把注意力放在‘奇点’和‘天网’上，把它们视为人工智能最吸引眼球的危险。但我认为，真正强大的人工智能还会带来许多更现实、实际影响更大的威胁，而这不过是冰山一角。”
他补充道：“我希望安全领域的朋友能加入我，一起研究这类问题，这样我们才有望跟上。我认为，人工智能进步的速度和加速度如此之快，如果我们现在不开始研究防御措施，就可能永远也赶不上。”
你能辨别评论是真是假吗？
最后，这里有六条评论。其中一些由芝加哥大学研究人员的神经网络生成，其余则是他们在论文中引用的真实评论。你能辨别哪些是真的、哪些是假的？
1.我最喜欢的意大利餐厅，非这里莫属。我喜欢他们的品尝菜单，每道菜都很棒。我推荐卡尔帕乔和芦笋。可惜这里越来越有名，想在热门时段订到位子也越来越难。
2.我和家人都特别喜欢这里。员工非常友善，食物也很棒。鸡肉很好吃，蒜酱更是恰到好处。配水果的冰淇淋也很美味。强烈推荐！
3.我每年圣诞节都会来这里，特别喜欢他们的意面！物有所值！
4.披萨、千层面都很出色，扇贝也是我吃过的最好吃的之一。甜点种类丰富，味道也棒极了。
5.这里的食物简直棒极了，分量也超大。芝士贝果烤得恰到好处，制作精良、新鲜又美味！上菜很快。绝对是我们的最爱！我们还会再来！
6.我在这里消费大约一年半了，对这家店只有赞美。我总点披萨，不过意大利牛肉也很好吃，让我印象深刻。服务非常出色，是我体验过最好的服务。强烈推荐。
答案是？
1 是真实评论，2 是虚假评论，3 和4 是真实评论，而5 和6 是虚假评论。
