如何构建儿童数字安全？

人工智能（AI）工具正逐渐成为孩子们日常生活的一部分，他们的生活已经高度数字化，游戏、社交媒体、即时通讯和学习都通过在线平台进行。

皮尤研究中心的研究发现，64%的青少年表示他们使用过AI聊天机器人，其中三成的青少年更表示他们每天都使用。除了聊天机器人之外，还有一些AI功能被直接嵌入在他们所依赖的应用程序和信息流中，例如为幼儿生成睡前故事的工具，或是在在线测验中搜寻答案的浏览器扩展程序。

这种普及速度值得关注，因为安全保障、知识普及和治理措施的进展都相对滞后。儿童仍处于批判性思维、冲动控制和社会认同的发展阶段，他们理解晦涩难懂的系统、具有说服力的设计或数据处理方式的能力较弱。AI可能会放大骚扰、冒充和剥削等常见的网络伤害，同时也会引入新的风险，包括逼真的合成媒体、自动化诱导，以及模糊健康界限的AI伴侣。

去年底，澳大利亚出台了一项具有里程碑意义的青少年社交媒体禁令，曾一度占据了各大新闻头条。在此之外，英国、新加坡和西班牙等其他国家政府，也已纷纷采取行动，出台了一系列网络安全措施，包括加强对平台的监管以及就用户年龄保障问题展开讨论。在2026年世界经济论坛年会上，这一议题也在议程中占据重要位置，各国领袖在会上分享了有关在高度互联的世界中保障青少年福祉的具体举措与建议。

世界经济论坛《2026年全球风险报告》不断升级的技术相关风险，其中网络危害在未来两年的风险排名中位列第12位，而AI技术的不良后果在未来10年的风险排名中则高居第5位。传递出的信号很明确：AI时代的儿童网络安全是重中之重。

网络欺凌与骚扰、诱导与诱骗、儿童性虐待材料（CSAM）、仇恨与极端主义、诈骗，以及接触自残或色情内容等威胁层出不穷，使信任与安全团队一直在与一系列影响儿童和青少年的网络危害持续斗争。但AI时代的挑战也已呈现出全新面貌：AI使这些危害发生的速度更快、影响的规模更大、内容的逼真度也更高。

曾经需要专业技术能力才能完成的事情，现在个人利用随处可见的工具就能实现。生成式AI可以创建高度逼真的图像，这大大降低了制作和分发非法内容的门槛，并增加了审核人员和调查人员需要审查的内容量。

这种转变的规模已经清晰可见。互联网观察基金会（IWF）报告指出，2025年，逼真的AI儿童性虐待视频数量增长了26362%，其中往往包含真实且可辨认的儿童受害者，此类材料中的很大一部分也往往性质极端、恶劣。此外，AI生成的儿童性虐待材料（CSAM）传播网络也是执法机构所面临的棘手挑战之一：合成的CSAM会使识别真实受害者、追踪原始素材以及优先处理紧急救援案件变得更加困难——即使内容完全由AI生成，也会使调查工作变得复杂化。

数据显示，网络诱骗和金融性勒索案件的数量也呈现出激增趋势。借助AI的“一键脱衣”或深度伪造（Deepfake）技术，不法分子可以轻易将普通照片转化为色情图像，这让网络骚扰和羞辱变得变本加厉。这种情况在校园里尤为猖獗，且受害者大多是女生。AI的介入使得这类恶行能够大规模蔓延——从冒充同龄人进行社交欺诈，到批量伪造露骨照片，手段可谓层出不穷。

AI系统的设计初衷是流利、高效且乐于助人，但这些特质往往会让它们显得具有“权威感”。由于存在幻觉、过度简化或复制偏见的风险，孩子们很容易过度信任对话式AI，从而忽略了其共情缺失或细微失实等局限性。对于尚处于素养教育和批判性思维发展阶段的儿童而言，AI这种“自信但错误”的输出可能会误导学习、塑造错误的信念并扭曲决策。这一点的影响会让孩子们误将AI视为辅导老师、搜索引擎或知心好友，进一步加深负面影响。

AI陪伴的兴起是这个重大的转变的缩影之一。它们被明确设定为社交好友、浪漫伴侣、角色扮演对象或伪心理治疗机器人。然而，对陪伴型聊天机器人的情感依赖，正成为日益增长的风险。对青少年来说，陪伴型AI可能是一个危险的组合，尤其是在年龄验证机制薄弱、且系统设计旨在追求用户参与黏性的情况下。

有害的聊天机器人互动案例与青少年危机有关，在某些极端情况下甚至导致自杀。此外，模型的调整有时会触发青少年类似于类似失去现实朋友的失落感。这凸显出我们需要更强大的安全保障措施、有效的危机响应协议，以及对未成年人所用产品建立更清晰的问责机制——尤其是当这些产品能够塑造行为并诱发强烈的情感依恋时。

除了加剧现有危害之外，人工智能还会带来源自系统设计和交互体验本身的风险。当互动过程让人感到像是在聊天且不带评判色彩时，孩子们会更容易透露敏感细节。与网页搜索不同，聊天记录可能变成一份包含私密细节的“日记”，涉及心理健康、位置规律和学业信息。当AI被嵌入到各类平台，且互动内容可能被存储、分析或用于系统优化时，这种风险会进一步增加。

儿童和青少年生活在由AI驱动的互联网前沿，但他们所应对的系统，却实则一开始并未在设计时将他们的需求考虑在内。保护他们的安全并让他们从数字工具中受益，在家长、教师或信任与安全团队之外，还需要社会其他多元主体的努力。

领先的组织正在推动切实可行的干预措施落地，例如互联网观察基金会支持识别和删除儿童性虐待材料；5Rights基金会推广以儿童为中心的数字设计；以及技术联盟将各家公司聚集在一起，加强在预防、检测、报告和跨平台协调方面的合作，以打击在线儿童性剥削。

各大平台和科技公司也在加大投资于安全工具和“默认安全”体验，例如图像哈希和检测技术、家长监护工具以及青少年保护措施。与此同时，监管机构也越来越期望企业采取更强有力的尽职调查措施、设计更符合年龄段的界面，并提供可信的年​​龄保证。随着AI逐渐嵌入儿童的日常网络生活，这些努力正共同推动构建一个对儿童更安全的数字系统。

世界经济论坛在这一方面也进行了广泛的努力。2019年，论坛发布了关于建立儿童与人工智能全球标准的研讨会报告；2021年，论坛启动了全球数字安全联盟，推进了“全球数字安全原则”和“网络危害类型学”等共享框架，以帮助协调各国和各行业的努力。

论坛近期发布的一份文件《干预之旅：有效数字安全措施路线图》 提出了实施数字安全干预措施的详细计划。作为其中的一部分，报告建议识别风险、设计量身定制的安全措施、持续评估有效性，并通过分享专业知识和资源开展协作。

儿童数字安全是一项全社会共同面临的挑战，需要各方协作才能妥善应对。企业、政府、社会组织和学术界都应发挥作用，确保AI和在线服务从设计之初就安全可靠，并辅以可信的安全保障措施、明确的问责机制以及基于证据的方法，以应对不断演变的风险。同样重要的是，必须将儿童和青少年视为合作伙伴，使规则、教育和保护措施能够反映他们在网络上生活、学习和社交的真实情况。

我们可以携手行动，构建一个安全的数字世界——AI不会侵蚀信任或福祉，而是为每个孩子拓宽学习、创造和机遇的空间。

本文作者：

李响，世界经济论坛执行委员会成员；人工智能卓越中心总负责人

Agustina Callegari，世界经济论坛技术治理、安全与国际合作项目负责人

本文原载于世界经济论坛Agenda博客，转载请注明来源并附上本文链接。