掠食者日益利用实时生成式AI语音模型，在游戏平台上冒充儿童。
当前的安全协议依赖事后审核，而非当今所需的实时音频验证。
立法框架必须超越视觉深度伪造，监管直播渠道中的合成音频操纵行为。
我坐在房间里，孩子们正在玩Roblox，这时我从扬声器里听到一些声音，让我瞬间愣住：听起来像儿童的声音，但几乎可以肯定并非真正的儿童。语调节奏不对，情感起伏平淡，这是家长能察觉、而平台却察觉不到的。
那一刻我才完全明白自己听到的是什么：其他玩家，很可能是成年人，正在使用实时AI语音模型，在网络游戏和社交平台上模仿孩子的声音。
在游戏平台上滥用实时语音通信的情况，尤其是在儿童使用的平台上，并非什么新鲜事。Roblox于二十年前首次推出，目前拥有超过1.44亿日活跃用户，其使用者大约为美国16岁以下儿童的一半。该平台于2026年1月在一波诉讼之后强制实行年龄验证，这些诉讼指控其安全措施不足以保护未成年人免受掠夺性接触的侵害。
但Roblox只是众多类似平台之一。Discord、《堡垒之夜》以及数十个其他平台都设有实时语音聊天功能，被数百万且庞大的年轻用户群体广泛使用。而它们同样面临我在孩子们游戏时所遇到的那种可怕风险。
当前的安全协议是为另一种互联网而设计的
大多数网络儿童安全基础设施基于一个基本模式：注册时核实身份，内容发布后进行审核，并标记违反服务条款的账户。这一模式在风险主要以文本形式存在时尚且合理，但自诞生以来就难以应对绕过尝试。
近几年来，生成式AI使实时篡改语音变得极其容易。两年前还需要专业技术才能使用的开源语音克隆工具，如今已变成消费级应用程序即可运行。FBI的《2025年互联网犯罪报告》记录了一年内超过22,000起与AI相关的投诉，并特别指出语音克隆正成为冒充诈骗中日益增长的渠道。
其结果是，这一漏洞每个月都在扩大。平台可能会在注册时通过自拍核实用户年龄（而这本身也很容易被深度伪造绕过），却从未分析实际对话所在的音频渠道。成年人可以通过视觉身份核验，随后在此后的每次互动中使用合成的儿童声音。
审核团队准备不足
内容审核提出的问题是：这段内容是否有害？这一问题假定内容是真实的，任务是做出判断。但当声音本身是合成的时，首要问题应当是：此人是否真如其所显示的身份？
这一问题提出了一项本质上不同的技术挑战。它需要实时分析音频流，而不是事后审查被标记的帖子。
数据表明，当前的做法未能跟上形势。2024年，美国国家失踪与受虐儿童中心（NCMEC）收到的涉及生成式AI的CyberTipline报告增长了1,325%，从4,700份增至67,000份。涉及网络引诱（包括成年人出于性目的与儿童进行交流）的报告超过546,000份，较上一年增长192%。截至2025年年中，与生成式AI相关的报告在短短六个月内激增至超过440,000份。
当我在美国参议院司法委员会作证时谈及深度伪造对社会构成的威胁时，我指出非自愿的深度伪造图像绝大多数针对女孩和妇女，甚至高中生也曾利用该技术伤害同学和教育工作者。
尽管这次证词主要聚焦于选举诚信和合成媒体的整体问题，但此后威胁已进入现有框架无法应对的领域：成年人利用AI在实时语音渠道中冒充儿童。
从伪造内容发展到伪造身份，或从事后看到的内容发展到与你实时互动的对象，这一转变要求我们做出新的应对。
需要做出哪些改变
三项不同的转变将有效弥合这一差距。
第一，平台需要以对待上传内容同样的严谨态度来对待实时音频和视频渠道。实时语音如今已成为数百万儿童的主要互动层。检测基础设施应与这一现实相匹配。
第二，实时识别AI生成语音的技术已经存在，但Roblox等平台并未部署该技术以大规模捕捉此类事件。Roblox等平台需要将合成媒体检测整合到其信任与安全运营中，正如它们十年前对内容分类器所做的那样。这无需从零开始构建；只需在最需要的地方应用成熟的检测技术。
第三，政策需要跟上步伐。《TAKE IT DOWN法案》于2025年5月签署成为法律，在将非自愿深度伪造图像定为犯罪并要求平台删除此类内容方面，是一项有意义的举措。其首例定罪于2026年4月作出。然而，该法案主要关注已发布的视觉内容，并未涉及直播渠道中的实时语音冒充，而信任的建立和诱骗行为正是通过这一渠道实现的。将立法范围扩展至涵盖实时音频操纵，尤其是在未成年人使用的平台上，将能够弥补最迫切且监管最薄弱的缺口。
立法的时机已经到来
实时语音合成的质量随每次模型发布而提升，成本也随每次更新而下降。儿童使用的平台正在增加语音功能，而非减少。
这并不意味着我们应该畏惧技术本身。AI语音工具在无障碍服务、创意表达和沟通方面具有非凡的应用价值。然而，当同样的工具可被用于在实时对话中冒充儿童的同龄人时，我们需要能够跟上互动速度运行的验证基础设施。
上一代儿童安全工具的设计理念是：有害内容可以在其出现后被发现。下一代则需要在建立信任之前，实时验证真实性。
从事后审核转向实时验证，是平台和政策制定者当下可以做出的最重要的基础设施投资。归根结底，语音渠道另一端的孩子们，应当享有与其所面临的威胁同样精密的系统保护。
