Instagram推出新过滤器,让网络霸凌者“消失”

Instagram Chief Executive Officer and co-founder Kevin Systrom speaks during the launch of a new service named Instagram Direct in New York December 12, 2013. Photo-sharing service Instagram unveiled a new feature on Thursday to let people send images and messages privately, as the Facebook-owned company seeks to bolster its appeal among younger consumers who are increasingly using mobile messaging applications. The new Instagram Direct feature allows users to send a photo or video to a single person or up to 15 people, and have a real-time text conversations. REUTERS/Lucas Jackson (UNITED STATES - Tags: SCIENCE TECHNOLOGY BUSINESS) - RTX16FKV
CEO Kevin Systrom says new filter could be the end of offensive commentsImage: REUTERS/Lucas Jackson
本内容由人工智能自动翻译。

很久以前,网络喷子还是童话故事里潜伏在桥下的可怕生物。

如今,他们已从书页走进屏幕,潜伏在网络新闻网站和社交媒体帖文的评论区。

“网络喷骂”可能包括从轻微的贬损言论到对名厨餐食的评论,乃至强奸和谋杀威胁。

社交媒体网络最近又采取行动打击网络喷子,Instagram宣布将开始使用人工智能(AI),在网络喷子的评论出现在用户帖文下方后立即将其有效删除。

Instagram使用母公司Facebook的深度学习技术DeepText程序——该程序最初旨在根据用户在帖文和评论中使用的词语与短语,为其定制Facebook信息流——来过滤被认为具有冒犯性的评论。

击败网络喷子

只要社交媒体网络存在,网络喷骂就一直是它们的祸害。

皮尤研究中心的一项调查发现,美国每四名互联网用户中就有一人遭受过骚扰。在18至24岁人群中,这一比例升至70%。

Image: 皮尤研究中心

然而,考虑到社交网络可用作政治辩论等话题的平台,社交媒体公司的管理者一直不愿承担积极“监管”的角色。

“我们不是来限制言论自由的,”Instagram首席执行官凯文·斯特罗姆在谈及这款新的AI评论过滤器时坚称,他接受了《连线》杂志采访。

像Instagram这样的公司或许不愿施加限制,但如果想留住并扩大受众,也不能让人觉得自己什么都没做。皮尤研究发现,遭受网络骚扰的人中,每十人就有一人选择离开自己遭受侵害的那个社交网络。

斯特罗姆将公司推出的新评论过滤器称为“我们致力于在Instagram上培育友善、包容社区的下一步”。

此前,Instagram去年推出了关键词过滤器,允许用户列出他们认为具有冒犯性或不恰当的词语,并屏蔽包含这些词语的评论。

Instagram最新推出的过滤器实质上是将这一手动流程改为自动流程。

运作方式

在打击网络喷子之前,Instagram首先采用了Facebook的DeepText算法,来应对社交网络的另一大祸害:垃圾信息。

Instagram员工通过筛查评论开发了这款垃圾信息过滤器,并将他们认为是垃圾信息的评论输入DeepText,从而教会它识别被归类为垃圾信息的评论。

据《连线》杂志报道,DeepText接受的垃圾信息识别训练不仅依据消息内容,也依据其来源:关注对象发布的评论比陌生人发来的消息更不可能是垃圾信息。

去年推出垃圾信息过滤器后,Instagram对其效果感到满意,于是将注意力转向了网络喷子。

他们采用了同样的流程,由人工将冒犯性短语分类,再输入DeepText。

该过滤器会自动添加到Instagram账号中,但可以在评论设置里关闭(见下文)。

开启过滤器后,带有敌意或骚扰性质的评论会消失,不过输入这些评论的人仍然看得到——Instagram此举旨在阻止网络喷子试图弄清过滤器的运作方式并找到绕过它的方法。

误报问题

Instagram的冒犯性评论过滤器目前仅支持英语。不过,垃圾信息过滤器现已扩展至西班牙语、葡萄牙语、阿拉伯语、法语、德语、俄语、日语和中文,因此网络喷子被多种语言屏蔽恐怕只是时间问题。

然而,语言的复杂性意味着,Instagram这类基于AI的解决方案也面临挑战。

康奈尔大学的研究考察了仇恨言论自动检测,并发现仅仅列出可能具有冒犯性的词语,不足以识别Twitter上的仇恨言论,因为语境至关重要。

同样也存在误报的可能:一些推文并无冒犯性,却因包含某些词语而被屏蔽。

《连线》杂志质疑Instagram过滤器的能力,向Instagram提供了几条可能被误判的句子,其中包括:

“这个周末我没买酒,只买了20支香烟。说实话,我还剩40英镑,挺自豪的。”

这句话显然使用了英国俚语,意为香烟,但康奈尔大学研究人员的系统却将其标记为仇恨言论,因为“fags”在美国也可作贬称同性恋者的词语。

Instagram拒绝就这些具体的误判句子发表评论,但斯特罗姆承认:“我们的工作远未完成,也远谈不上完美。”他告诉《连线》杂志,还需要时间才能判断这项举措是否成功。

他说,如果过滤器“惹出麻烦”,屏蔽了太多没有辱骂内容的评论,“我们就会弃用它,从头开始,另找办法”。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。