全球每天有超过175,000名儿童开始上网，越来越多的孩子将体验网络浏览带来的益处与风险。
在应对数字平台上的儿童性虐待材料方面，仍存在重大缺口。
在2023年国际安全上网日（2月7日），我们将深入探讨有助于改善儿童网上安全的企业做法。
每天有超过175,000名儿童开始上网，遍布全球，越来越多的儿童将体验网络浏览带来的益处与风险。一项研究由Common Sense Media开展，发现年仅8岁的儿童就已比以往更频繁地使用社交媒体。儿童上网率的上升与儿童在网上遭受虐待和剥削的情况同步增加；令人震惊的是，“自我生成”虐待图像出现了360%的增长，据互联网观察基金会（Internet Watch Foundation）称，自2020年3月以来。在行业和政府未采取进一步措施的情况下，这一趋势不太可能逆转，因此亟需提高应对此类虐待的现有做法的问责性、主动性和透明度。
作为澳大利亚《2021年在线安全法》的一部分，网络服务提供商须在eSafety专员要求时，报告其如何落实《基本网络安全期望》（BOSE）。基于eSafety于2022年12月发布的行业首批回复，我们现在更清楚平台正采取哪些措施保护儿童免受互联网上的虐待和剥削。
在2023年2月7日国际安全上网日，我们重点关注数字平台上应对儿童性虐待材料（CSAM）的一些主要缺口，以及弥补这些缺口的一些潜在解决方案：
世界经济论坛如何确保人工智能的伦理发展？
新型CSAM的检测
虽然许多公司使用哈希（匹配）技术来检测现有的CSAM，但检测新的材料的提供商较少。哈希匹配工具只能阻止已识别和确认内容的持续传播。另一方面，人工智能（“分类器”）可用于识别潜在内容，其很可能描绘了儿童遭受虐待的情况，方法是寻找关键标记。这样，人工智能的使用可以在CSAM首次生成时、被分类或记录到任何数据库之前，帮助阻止其传播。这一价值不可估量。
诸如Thorn的分类器（Thorn是一家专注于儿童保护的非营利组织，据其报告准确率达99%）是能够检测新型CSAM的技术示例。此类分类器有助于为人工审核和核实排定案件优先级，作为打击此类非法材料整体流程的一部分。
在直播和视频内容中检测CSAM
在线服务提供商仍在开发相关流程、工具和措施，以检测直播或视频通话/会议中的儿童性虐待和剥削情况。研究由WeProtect全球联盟与技术联盟开展的研究发现，在受访公司中，仅有30%使用基于视频的CSAM分类器。此外，仅有22%的公司在直播场景中使用分类器检测CSAM。
对于成人性内容，目前已有创新技术用于帮助检测视频中的违规内容。Teleperformance例如，该公司利用一种工具，可自动测量视频片段中裸露的时长和程度，以帮助审核员更有效地判断暴露程度是否违反既定平台政策。
鉴于此类内容形式的爆炸式增长，在直播和视频会议中针对音频和视频内容采用审核技术，可能对打击CSAM及其他非法材料产生巨大影响。
诱骗行为（grooming）的检测
网络诱骗是指“犯罪者通过互联网对儿童进行性剥削所采用的手段。”在一篇博客文章中，Thorn描述道，“诱骗依赖于利用不安全感和信任，而在网络环境中，信任可以通过多种方法建立。”文章进一步解释道，“诱骗过程中产生的任何内容随后都可能被用来威胁和勒索儿童，利用儿童害怕惹上麻烦的心理，迫使受害者实施更多行为，而这些行为可能变得越来越露骨。”
在检测掠夺性行为（包括诱骗）方面，仅有37%的受访公司使用AI分类器主动检测其平台上的此类活动。鉴于诱骗行为的类型和严重程度各不相同，要以可扩展的方式界定此类内容的标记和审核阈值可能更加困难。
为用户提供清晰的举报机制，以标记此类违规内容，可以加强检测。“安全设计以及《基本网络安全期望》的核心在于，用户能够轻松找到举报滥用行为的途径。如果这类行为未被检测到，也无法被举报，那么我们将永远无法真正了解问题的严重程度。”澳大利亚eSafety专员朱莉·因曼·格兰特（Julie Inman Grant）表示。
除了针对诱骗和/或CSAM的检测技术外，服务提供商还可以利用年龄验证技术，帮助防止成人与儿童之间的不必要接触。此外，为可能寻找此类材料的人提供求助途径的安全提示，是一种以预防为导向的应对此类行为的方式；互联网观察基金会近期开发的一款聊天机器人和Lucy Faithfull基金会正致力于实现这一目标。据《连线》（WIRED）杂志报道，“有一些证据表明，这种技术干预能够有效引导人们远离潜在的儿童性虐待材料，并减少在线搜索CSAM的次数。”此类创新对于推动行为改革以及推行以安全设计为核心的做法至关重要。这些干预措施着眼于解决此类行为的根本原因，对于防止儿童受害及再次受害至关重要。
及时、积极地应对网络危害的重要性怎么强调都不为过；对违反儿童安全或其他平台政策领域的内容，越能有效、迅速且正确地识别并处理，其对受害者造成的负面影响可能就越小。近期由MIT Technology Review Insights发布的《“人类是有效数字防御的核心”》报告（与Teleperformance合作）强调了信任与安全日益重要的地位。与此同时，Gartner研究表明，到2024年，近三分之一（30%）的大型企业将把用户生成内容的审核服务视为首要优先事项。
要在这一领域进行创新，技术与人员必须更紧密地协作。在内容审核的背景下，MIT Technology Review Insights论文强调了人们如何通过标记算法遗漏的内容，帮助闭合“机器学习反馈回路”。随后，人工智能会利用这些数据在未来做出更准确的决策。哈佛大学伯克曼·克莱因互联网与社会中心附属学者、无国界互联网（Internet Sans Frontières）执行董事朱莉·奥诺诺（Julie Owono）在MIT Technology Review Insights论文中预测：“内容审核规则和做法（我将其纳入内容治理的范畴）将会不断演进。在用户、广告商和政府对安全网络空间日益增长的压力下，我们可能会看到更多通用标准的出现，甚至可能出现通用程序。这将需要一种多方利益相关者的方式，由产业界、民间社会、政府和学术界协作完成。”
保护儿童上网安全，正是此类协作能够开始推动完善内容治理、并以主动方式对待信任与安全的起点。
2023年国际安全上网日，Teleperformance加入了日益壮大的利益相关方行列，致力于借助其人员、技术和卓越流程，推动数字安全的改善。因为我们深知，每一次互动都至关重要。
通过世界经济论坛数字安全联盟（World Economic Forum Coalition for Digital Safety）了解有关本主题的更多信息。
