从新加坡到芬兰，各家公司都在竞相改进人工智能，使软件能够自动识别并拦截血腥凶杀和暴乱视频，避免它们在社交媒体上迅速传播。
迄今为止，没有哪家公司声称已彻底解决这一问题。
本周，一名泰国男子在 Facebook 上直播杀害自己 11 个月大的女儿，这是该社交媒体公司直播的一连串暴力犯罪事件中的最新一起。这些事件引发了人们对 Facebook 举报系统如何运作，以及如何更快标记暴力内容的疑问。
业内人士称，十几家公司都在努力解决这个问题。面临类似问题的 Google（其 YouTube 服务也有此类问题）和 Facebook 正在开发各自的解决方案。
大多数公司都专注于深度学习：这是一种利用计算机神经网络的人工智能。总部位于巴黎的图像和视频分析公司 Sightengine 创始人 David Lissmyr 说，这种方法可以追溯到 20 世纪 50 年代，当时人们开始尝试模拟大脑中神经元的工作和相互作用方式。
另一家视频分析公司 Clarifai 的创始人兼首席执行官 Matt Zeiler 表示，利用多层人工神经元教计算机学习，真正兴起也不过是过去几年的事。
Zeiler 说，直到相对近期，才有了足够的计算能力和数据来训练这些系统，从而使“机器学习的准确性和效能实现了指数级跃升”。
输入图像
训练系统首先将图像输入计算机的神经网络层，然后让这些网络“学习”识别路牌，或视频中的暴力场景。
总部位于新加坡的 Graymatics 首席执行官 Abhijit Shanbhag 表示，暴力行为可能包括砍杀动作或血腥画面。如果工程师找不到合适的场景，就会在办公室里自行拍摄。
Zeiler 表示，Clarifai 的算法还可以识别视频中可能预示暴力的物体，例如刀或枪。
但这种技术也有局限。
其中之一是，软件的表现取决于它接受训练时所用示例的质量。当有人决定把孩子吊在建筑物上时，这未必是软件已被设定要监测的情形。
Shanbhag 说：“随着人们在这类骇人行为上不断变出新花样，系统也需要针对这些行为接受训练。”他的公司为亚洲及其他地区的多家社交媒体客户过滤视频和图像内容。
另一个局限是，暴力可能带有主观性。法国 PicPurify 公司的研发主管 Junle Wang 表示，快速移动且充斥血腥画面的场景应该很容易识别。但该公司仍在研究如何识别不涉及血腥画面或武器的暴力场景。他的同事、首席执行官 Yann Mareschal 说，心理折磨也很难识别。
Graymatics 的 Shanbhag 还指出，有些内容本身并不具有暴力性质，却可能被视为冒犯，例如 ISIS 旗帜。这可能要求根据客户情况调整系统。
仍需人工参与
芬兰公司 Valossa 的创始人兼首席执行官 Mika Rautiainen 表示，自动化或许有所帮助，但人类仍须参与核实被标记为冒犯性或危险内容的真实性。Valossa 为媒体、娱乐和广告公司识别不良内容。
事实上，可能的解决方案还需要超越图像本身，纳入其他线索。PicPurify 的 Wang 表示，可以利用算法监测观众的反应，例如某段视频的转发量突然增加，这或许能作为判断依据。
Kuznech 首席执行官 Michael Pogrebnyak 表示，这家俄美公司在识别色情图像的算法工具中增添了新算法。原有算法主要关注皮肤检测和摄像机运动，新算法则能识别制片公司的标志和警示文字画面。
Facebook 表示，该公司正使用类似技术识别裸露、暴力或其他违反其政策的内容。一位发言人没有回应有关该软件是否用于泰国事件及近期其他事件的问题。
一些公司表示，业内采用这类技术的速度低于预期，部分原因是额外成本。他们认为，这种情况会有所改变。Valossa 的 Rautiainen 表示，管理用户生成内容的公司可能会越来越多地面临监管压力。
Rautiainen 说：“即使监管没有收紧，无法做好内容审核，也会越来越多地损害企业的线上品牌形象。”
