读者请注意：本文已被转载至一些惯常歪曲内容、传播错误信息的网站。请留意以下事项：
1）本文内容代表作者个人观点，并非世界经济论坛的观点。
2）请亲自阅读本文。世界经济论坛致力于发表多元声音，歪曲内容只会削弱开放交流。
全球有63%的人口上网，互联网是社会的一面镜子：它涵盖所有语言，容纳各种观点，也聚集了形形色色的人（其中有些并不友善）。
随着互联网不断发展，网络危害的阴暗领域也在演变。信任与安全团队（通常设于在线平台，负责移除滥用内容并执行平台政策）面临越来越多种类的滥用行为，例如虐待儿童、极端主义、虚假信息、仇恨言论和欺诈；与此同时，越来越老练的行为者也在以独特方式滥用平台。
然而，解决之道并非简单地再雇一屋子的内容审核员，或再建立一份屏蔽名单。若不深入了解不同类型的滥用行为，不熟悉仇恨团体的用语，不精通恐怖主义相关语言，也无法细致理解虚假信息行动，信任与安全团队就只能触及问题表面。
我们需要更为精密的方法。将创新技术的力量、平台外情报收集，以及了解威胁行为者运作方式的领域专家的专业能力独特地结合起来，就能大规模检测网络滥用，并达到近乎完美的精准度。
网络滥用日趋复杂
自互联网问世以来，战争此起彼伏，经济衰退有来有去，新型病毒也曾造成严重破坏。互联网在这些事件的传播和认知中发挥了重要作用，而其他变化——例如极端观点激化、虚假信息传播，以及儿童性虐待材料（CSAM）广泛流传——也因互联网而得以发生。
在线平台试图遏制这些滥用行为，却陷入了类似“歪心狼追逐哔哔鸟”的局面：威胁行为者不断采用更复杂的手段，规避持续演变的检测机制。这催生了新的俚语，例如儿童性侵者用“奶酪披萨”以及其他包含字母 c 和 p 的词语代替“儿童色情”。人们还采用了新的方法，例如利用链接缩短服务隐藏指向虚假信息网站的链接；网络滥用手段也有所变化，例如在平台外协调针对少数群体的攻击。
传统方法已不足够
大多数有害内容检测方法都以人工智能（AI）为基础。这项强大的技术依靠海量训练数据集，快速、大规模地识别违规行为。由于人工智能基于熟悉语言中已知网络滥用行为的数据集构建，因此能够检测熟悉语言中的已知滥用行为；但对于它未经训练的语言中那些细微复杂的违规行为，检测效果较差——这是一个巨大的漏洞，威胁行为者可以从中牟利。
人工智能虽能提供速度和规模，却也缺乏情境判断，而这正是信任与安全工作中的关键要素。例如，已有强大的人工智能模型可以检测裸露内容，但很少有模型能判断裸露内容究竟出自文艺复兴时期的绘画，还是色情图像。同样，大多数模型无法辨别视频中的刀具是用于推广屠宰设备，还是用于暴力袭击。缺乏情境判断可能导致审核过度，限制在线平台上的言论自由；也可能造成审核不足，危及用户安全。
与人工智能相比，人工审核员和领域专家能够检测细微复杂的网络滥用行为，并理解多种语言和文化。然而，这种精准能力受限于分析人员的特定专业领域：精通欧洲白人至上主义的人工审核员，未必能识别印度的有害内容或肯尼亚的虚假信息叙事。由于关注范围有限，人工审核员要发挥作用，就必须加入规模庞大、实力雄厚的团队——这对大多数科技公司而言都是一项艰巨工作。
人的因素也不容忽视。数千名负责清除网上恶劣内容的审核员必须亲自目睹这些内容，因此面临较高的心理疾病和创伤性障碍风险。除了审核员的身心健康，这种情况还可能削弱运营成效，因为人员流动率高、用工不稳定，会导致组织稳定性低下，并不可避免地造成审核失误。
检测网络滥用的“信任与安全”智能解决方案
人工智能能提供速度和规模，人工审核员能确保精准，但两者结合仍不足以在危害抵达平台前主动发现它。要做到主动防范，信任与安全团队必须明白，滥用内容并非只在自家平台上出现。威胁行为者在进入主流平台之前，会聚集在网络最阴暗的角落，创造新的关键词、分享资源网址，并详尽讨论新的传播手段。恐怖分子、仇恨团体、儿童性侵者和虚假信息活动者在这些隐秘之处自由交流，可为致力于保护用户安全的团队提供大量情报。
问题在于，获取这些信息根本无法规模化。传统情报收集需要深入研究、专业知识、访问权限，以及相当程度的信息整合能力——这些都是机器无法模仿的人类能力。
将情报融入其中
我们已经说明，标准做法——用人工智能算法实现规模化检测，用人工审核员确保精准度——无法充分平衡规模、新颖性和细微差异。我们也已经说明，平台外情报收集可以提供情境和细节，但无法兼顾规模和速度。
为突破传统检测方法的局限，我们提出一种新框架：关键在于采取以情报为基础的方法，而不是依赖人工智能进行大规模检测、再由人工审核边缘案例。
将经过人工筛选的多语言平台外情报纳入学习数据集后，人工智能便能在相关滥用行为抵达主流平台之前，大规模检测出细微复杂、新出现的网络滥用行为。再以人类专业知识辅助更智能的自动检测，审核边缘案例、识别误报和漏报，并将这些发现反馈到训练数据集中，我们就能打造融入人类智慧的人工智能。这种更智能的人工智能会随着每次审核决策不断进步，最终实现大规模、近乎完美的检测。
成效
新型滥用手段出现后，人工智能需要一段时间才能检测出来；正是这一滞后让网络滥用得以蔓延。将情报融入内容审核流程，可以大幅缩短新型网络滥用手段出现与人工智能识别之间的时间差。这样，信任与安全团队就能在威胁在线兴起、触达用户之前将其阻止。
