诈骗分子利用复杂的人工智能生成深度伪造手段发动攻击，从工程公司奥雅纳（Arup）骗走了2,550万美元。
这一事件凸显出，竞相拥抱人工智能潜力的组织也必须防范其被武器化。
识别危险人工智能和深度伪造并非单纯的技术挑战，更是维护公众信任的关键。
这名香港金融从业者并未觉得视频通话有什么异常。其驻英国的首席财务官急需批准一项机密收购案，几位熟悉的同事也加入通话讨论细节。
经过充分讨论后，该员工批准了15笔转账，总额达2,550万美元。直到几周后，令人震惊的真相才浮出水面：通话中的每个人，除了受害者本人，都是人工智能生成的深度伪造形象。
这起2024年1月针对工程公司奥雅纳（Arup）的攻击远不只是一起精心策划的诈骗案，更标志着人工智能威胁现代商业信任基础设施的方式发生了根本性转变。
在竞相拥抱人工智能变革潜力的同时，各组织必须防范其被武器化。识别危险人工智能已不再是可选项，而是生死攸关的问题。
威胁已超越政治虚假信息
多年来，深度伪造一直因被用于操纵选举和制造名人丑闻而占据新闻头条。那个时代已经过去。奥雅纳事件表明，深度伪造攻击已演变为精准武器，通过冒充高管瞄准企业运营，而大多数组织对此仍毫无准备，处境极为危险。
这种演变的规模令人震惊。2022年至2023年，北美深度伪造诈骗案件激增1,740%，而仅2025年第一季度，经济损失就超过2亿美元。深度伪造技术的普及使诈骗手段大众化：克隆声音如今只需20至30秒音频，而使用免费软件，制作逼真的视频深度伪造内容只需45分钟。
除奥雅纳事件外，已有记录的攻击也显示出愈发复杂的手法。诈骗分子曾试图冒充 法拉利首席执行官贝内代托·维尼亚，使用人工智能克隆语音通话，完美复刻了他的意大利南部口音。一名高管提出只有维尼亚本人才能回答的问题后，这通电话才被挂断。
类似的冒充企图还针对过WPP首席执行官马克·里德以及各行业众多其他高管。金融服务信息共享与分析中心警告称，这些攻击代表着“从扰乱民主进程转向直接攻击商业运营的根本性转变”。
这种演变反映了威胁格局更广泛的转变。与旨在大规模传播的政治类深度伪造不同，针对企业的深度伪造是精准打击——针对个人、情境逼真且破坏力极强。它们利用支撑商业高效运转的信任网络，将我们对数字通信的依赖变成关键漏洞。
识别危险人工智能面临的挑战
当前的安全机制面对这一威胁正遭遇惨败。研究表明，与实验室条件相比，最先进的自动化检测系统在面对现实世界中的深度伪造时，准确率会下降45%至50%。更令人担忧的是，人类识别深度伪造的能力仅徘徊在55%至60%，仅略高于随机猜测。
“音频和视觉线索对我们人类非常重要，而这些技术正是利用了这一点，”奥雅纳首席信息官罗布·格雷格在谈及这起2,500万美元诈骗案时解释道。“我们确实必须开始质疑自己看到的一切。”
根本挑战在于生成技术与检测技术之间不对称的军备竞赛。深度伪造视频的数量每年增长900%，检测能力却始终落后。传统身份验证方法——通过视频辨认熟悉的面孔、听出可信任的声音，甚至观察行为模式——已无法再提供可靠的安全保障。
世界经济论坛如何应对全球网络安全挑战？
网络安全中心提供了一个可信赖的平台，让各方领导者齐聚一堂，理解不断演变的网络风险及其系统性影响。中心致力于在日益互联的数字世界中增进理解与信任。
通过促进跨行业合作与见解共享，中心帮助合作伙伴增强网络韧性，并应对需要集体行动的挑战。
不过，新兴技术解决方案有望应对这一挑战。实时多模态检测系统能够同时分析语音、视频和行为模式，在理想条件下的准确率已达到94%至96%。
这些系统采用集成多种检测算法的集成方法，因此更能抵御对抗性攻击。企业正将这些能力直接整合进通信平台，以便在实时互动过程中发出警报。
弥合检测差距的关键在于持续适应。与静态安全措施不同，现代深度伪造检测需要不断根据新出现的威胁重新训练模型。
领先的解决方案如今采用联邦学习方法，在保护隐私的同时每天更新检测能力。这种动态防御态势与用于验证通信真实性的加密认证方法相结合，为检测技术的军备竞赛提供了前进方向。
构建抵御深度伪造的系统性韧性
认识到完美检测或许仍难以实现，领先组织正通过综合技术、政策和人为因素的整合方案，构建多层韧性。这种系统性防御策略承认，要战胜深度伪造，光靠技术解决方案还不够，还需要从根本上改变验证信任的方式。
金融机构正在率先建立全面框架。金融服务信息共享与分析中心（FS-ISAC）的深度伪造风险分类体系有助于从人员、流程和技术层面系统地构建防御。关键要素包括在传统方法之外引入多因素认证，并纳入行为生物识别，实时分析打字模式和导航习惯。已有100多家金融机构部署这些系统，建立起跨银行的行为欺诈检测网络。
无法被合成媒体攻破的验证协议正成为标准做法。这些协议包括预先设定备用通信渠道、采用加密设备认证，以及对大额交易设置强制等待时间。美国金融犯罪执法网络已发布正式指导意见，要求在深度伪造事件中加强验证程序并报告可疑活动。
培训是另一个关键支柱。美国银行家协会定期举办研讨会，教会员工识别操纵手法，并通过独立渠道核实高管指令。这些项目形成的最佳实践包括为敏感通信设定“安全口令”、使用预先核验的号码实施回拨程序，以及为高风险情境制定决策流程图。
政策框架正迅速演变，以应对这一威胁。欧盟《人工智能法案》于2024年8月生效，要求履行透明度义务，并对人工智能生成内容进行技术标注。尽管美国缺乏全面的联邦立法，多项法案仍在国会推进，其中包括在更广泛的人工智能治理框架中纳入针对深度伪造的具体条款。
打击深度伪造需要健全的验证协议
正如世界经济论坛的《2025年全球网络安全展望》所强调，深度伪造威胁是对我们在人工智能驱动的世界中维持信任能力的一项关键考验。随着德勤预计到2027年人工智能赋能的诈骗将造成400亿美元损失，风险已不仅关乎经济损失，更关系到商业信任的基础设施。
解决这一问题需要立即采取协调一致的行动。各组织必须实施健全的验证协议，投资于持续检测能力，并将安全文化从“信任但要核实”转变为“绝不轻信，始终核实”。技术提供商必须优先开发有韧性、适应性强的检测系统。决策者必须建立兼顾创新与保护的框架。
最重要的是，我们必须认识到，识别危险人工智能不仅是技术挑战，更是维护推动人类进步之信任的关键。在人工智能优先的世界里，我们能否区分真实的人类交流与合成操纵，将决定人工智能究竟会拓展人类潜能，还是会动摇社会本身的根基。
