科技是如何用于对抗网络仇恨言论的

网络霸凌、仇恨和煽动性言论愈演愈烈，因此我们对其采取一些新的措施。由于参议院就网络欺凌的调查已召开了听证会，澳大利亚应双管齐下来解决这个问题。

首先，如果主要的社交媒体公司未能减少其平台上辱骂性内容的数量，政府则应该效仿德国对这些公司处以罚款。

其次，我们必须对于发布的内容制定正确识别、衡量其辱骂性质并将其删除的规则，同时确保社交媒体公司遵循这种规则。

鉴于社交媒体数据量巨大，支持这种监管必须有人工智能的参与，但我们仍需要了解这种方式的局限性。

对于受害者的影响

2015年，澳大利亚律师乔什·伯恩斯坦成为了一名美国男子发表的网络侮辱言论的受害者，他冒充伯恩斯坦以他的名义在网上发布了一篇种族主义的文章。于是伯恩斯坦收到了来自世界各地的仇恨言论。

对于伯恩斯坦来说这使他十分苦恼，同时对于整个社会来说，网络也会产生影响。在匿名身份的掩护下这名男子使用伊斯兰国支持者的假身份声称要对澳大利亚和其他西方国家发动恐怖袭击。在12月，他在美国因恐怖主义指控被定罪。

伯恩斯坦如今在呼吁政府对社交媒体公司制定法规以及给予受害者实际的法律援助。

德国成为监管模范

德国最近推出的新法规要求社交媒体公司在24小时内删除有鲜明仇恨意味的言论。

为了响应这一变化，Facebook聘用了1200名员工以及承包商以更有效地对德国用户的言论进行报告。 如果公司未能在24小时内删除大部分此类内容，那么政府可对公司处以高达5000万欧元（7900万澳元）的罚款。

这些法规并非十全十美——在这些法律生效后的几个月内，德国开始考虑进行变革以防止社交媒体公司对言论自由产生寒蝉效应。但德国的方案让我们窥见了国家对于网络欺凌的强烈反应是什么样的。

这只是在一个美丽新世界中使用技术监管的一个当口。如果我们不知道网络上有多少辱骂性言论发布在网络上、有多少发布仇恨言论的平台正在被取缔，则网络欺凌相关的法律无法施行。我们需要工具来支持这项行动。

人工智能的使用

在网络仇恨预防研究所（OHPI）我们花了六年时间处理包括伯恩斯坦在内的一些具体案例，并利用世界一流的众包和人工智能方法研究仇恨言论度量的问题。

其他机构也将识别和度量仇恨言论作为下一步的任务。反犹太主义网络监测系统（ACMS）是监测社会媒体反犹太主义的新工具，这个工具自2016年10月以来由以色列侨民事务部开发，它将于本月底在耶路撒冷举办的2018年打击反犹太主义全球论坛上发布。

该工具使用文本分析（一种人工智能的形式）通过搜索社交媒体网站搜索可能指向反犹主义内容的词、短语和符号，然后该工具对内容进行审查并生成交互图。

世界犹太人大会和Google的Conversation AI项目也采用了类似的方法，但这种方法的有效性是有限的，特别是在应用于大型社交媒体网站的时候。

反犹太主义网络监测系统试用一个月的数据在系统推出之前发布。尽管该软件被宣传为对抗网络仇恨言论的重要进展，但数据本身凸显出在方法和技术上的严重局限，使这个工具更像是个消遣。

技术的局限性

反犹太主义网络监测系统的一部分局限性在于检测极右翼人士使用编码语言、符号和委婉语发表的辱骂性言论，此外，这个系统只监视来自Facebook和Twitter的内容，而在上一次报告中占据反犹太言论发布量41％的YouTube不包括在内。这个自动化系统也仅监控英文，阿拉伯文，法文和德文的内容。

更重要的是，宣传种族主义内容发布最多的城市是圣地亚哥（智利），第聂伯罗（乌克兰）和布加勒斯特（罗马尼亚）。这些城市主要使用的语言在软件中没有编程处理，但他们的发布情况却超过了使用软件中已有语言的城市

澳大利亚特别关注的是一幅题为“景点城市：不同地理区域发表反犹太言论的程度”的图表，显示布里斯班是排名最高的说英语的城市。但后来的解释对此进行澄清，表示这个结果是“喜欢”、“分享”和“转发”最初从布里斯班发布的内容数目总和。因此，这些数据很大程度上会受到随机性影响，而这些随机性来自于那些碰巧得到大量传播的内容。

律师和数据科学家需要通力合作

基于AI的检测工具确有一席之地，但人们也要理解它们的局限性。文本分析可以识别网络仇恨言论的特定子集，例如万字符和与希特勒、纳粹、毒气室和焚尸炉相关的文本，或者在一些极右翼群体中突出的反犹主义内容，但这并非一劳永逸的解决方案。

除了文本识别之外，我们还需要律师和数据科学家传授给我们管理网络空间的方法。我们需要用其他方法验证新的人工智能工具，例如使用来自公众的众包数据，并且专家必须检查数据的准确性。我们需要利用新技术来支撑监管体制，同时避免遇到像澳大利亚福利署所困扰的机器债务问题那样失败的机器人审查方式。

对网络欺凌的探讨是极为重要的一步，它不仅关乎当下的问题，更有利于未来的解决方案。

作者Andre Oboler，乐卓博大学讲师、网络安全硕士

以上内容仅代表作者个人观点。

本文由世界经济论坛博客原创，转载请注明来源并附上原文链接。

翻译：世界经济论坛博客翻译小组·徐嘉莹

责编：张智

世界经济论坛博客是一个独立且中立的平台,旨在集合各方观点讨论全球、区域及行业性重要话题。