有害内容的严重程度和数量正以惊人的速度增长。
应对这些问题需要整个行业采取多维度的方法。
我们概述了三种有助于通过协作应对现实世界伤害的关键方式。
用户生成内容使内容创作与传播变得大众化，尤其是近年来短视频和长视频应用的兴起。从烹饪视频、搞笑舞蹈到旅行博客，可获取内容的数量和多样性大幅增长。
如今，随着生成式人工智能（AI）工具能够生成和修改图像、视频、音频及文本，这一现象被进一步放大。这些进展在诸多方面带来了益处，但也使人们更有必要重视应对有害内容，并寻求更有效的方法来应对当前及新出现的伤害。
随着多种伤害的严重程度和数量不断上升，包括性勒索、网络欺凌和虐待动物，这一问题至关重要。应对此类问题需要采取多维度的方法：
1. 内容政策与有效执行
各平台一直致力于应对一系列伤害，制定可接受使用的必要政策，即“社区准则”，并通过人工智能与人工审核相结合的方式加以执行。这已被证明是有效的：一项旨在评估《数字服务法》潜在影响的新实证研究发现，内容审核在减少伤害方面前景良好。其效果取决于移除内容所需的时间、举报方式（例如可信举报者），以及内容在平台上的传播速度。研究，
因此，许多平台一直在改进其政策的主动执行机制，通过运用机器学习模型和人工智能分类器，力求在有害内容被举报之前就将其识别并降低其可见度。虽然大语言模型（LLM）为利用自动化带来了新机遇，但很明显，经过培训的审核人员在许多领域仍优于大语言模型；例如，在仇恨与骚扰等需要更多语言或文化语境的领域，据一项数据集显示，该类别中的性能差距仍超过20%。
尽管这一方法仍在不断发展，但重点不应仅放在内容上，还应关注自动化内容创作者。犯罪学教授 Sameer Hinduja 指出，“仇恨突袭此前已通过数千个机器人账号得以实施，有理由推测，这种生成式人工智能可能会加速、扩大此类针对性攻击，并使其在频道、评论区、留言板及其他环境中更加有效。”
许多平台还更新或补充了现有政策的细节，以涵盖新的伤害类型或威胁途径。例如，就人工智能生成的内容而言，包括谷歌、TikTok和Twitch在内的多家平台已在这一领域完善了相关政策，其他平台也很可能在不久的将来效仿。
用户在安全方面的体验，很大程度上取决于这些政策的定义和执行方式。例如，政策是否以平台运营所在市场的所有语言提供，政策是否对所有用户一致适用，处理用户举报所需的时间长短，对于不认同内容审核决定的用户，是否存在快速有效的申诉救济机制，以及其他类似因素。鉴于在如此短的时间内该领域已发生如此快速的变化，平台必须灵活应变，并频繁调整和完善其政策。
2. 内容之外的信号与推动因素
除了审视内容本身，还需要将其与其他信号相互印证，才能从更深层次应对伤害。
其中一个信号是资金流向。有害内容的创作者往往存在经济动机，而消费这些内容的人既有能力也有途径为之付费。付费方式可能是直接付款，也可能是试图通过依赖广告的平台将内容变现。
就支付方式而言，虽然金融机构的努力已使用信用卡购买非法内容的行为受到遏制，但不法分子已找到其他支付方式，包括金融机构的努力，加密货币。那些索要虐待动物内容的人使用了移动支付方式，这类方式允许通过手机号码或电子邮箱即时付款给创作者或传播者。通过完善品牌安全标准并审查金融交易，追踪并打击这些资金激励机制将有所帮助。
论坛在改善网络安全方面正在做哪些工作？
利用用户和行为层面的信号是另一个重要途径。平台可以考察账号的受欢迎程度，追踪群组从公开转为私密的信号，并检测为规避停用或封禁而创建的重复账号。
Hinduja 还指出，“通过算法识别账号创建中的危险信号非常重要，例如自动生成的用户名（如随机字母数字组合）、从其他真实账号盗用的头像或简介信息、“对话式语言”中的语法错误、与参与时间相关的异常或不稳定的行为信号，以及发帖内容的频率与重复程度，还有可疑的社交网络关系图谱（例如与其他已确认的机器人账号相连、关注者与被关注者比例可疑，以及这些关注关系的增长速度）。”账号身份验证和核实机制有助于应对其中一些规避手段。
3. 多方利益相关者协作
鉴于不法分子会跨平台传播有害内容，旨在从行业层面应对这些伤害的举措将变得越来越重要。“近十年来，数十家公司一直在共享PhotoDNA，这是一项有助于检测已有儿童性虐待材料（CSAM）的技术。它为跨行业合作树立了标准，而这种合作已变得至关重要。”Net Safety Collaborative执行董事、社交媒体平台安全顾问 Anne Collier 表示。
诸如科技联盟（Tech Coalition）（致力于儿童安全领域）以及全球互联网反恐论坛（GIFCT）等倡议，旨在应对恐怖主义和暴力极端主义内容（TVEC），并推动知识共享与协作。除了这些专注于特定伤害类型的联盟，像数字信任与安全伙伴关系（Digital Trust and Safety Partnership）这样的组织也在致力于开发覆盖所有政策领域的解决方案。
无论是行业可以利用的伤害类型分类体系、哈希值共享数据库，还是跨伤害类型的不法分子趋势，这些努力对于汇聚行业力量、以共同的解决方案应对共同的挑战都极为重要。
Teleperformance参与世界经济论坛的全球数字安全联盟（Global Coalition for Digital Safety）、加入信任与安全专业协会（Trust & Safety Professional Association），以及成立其信任与安全咨询委员会（Trust & Safety Advisory Council），表明其认识到在应对网络伤害时，需要跨越国界、跨越政策领域并跨越行业进行考量。总体而言，企业需要超越仅从内容角度看问题，转而关注社会趋势、用户行为变化和技术进步，以更系统性的方式应对新威胁的速度和规模。
