人工智能如何制造出针对你个人的网络骗局？

以生成式人工智能 (GenAI) 和大型语言模型 (LLM) 为代表的人工智能技术已经风靡全球。该技术已显示出巨大的潜力，可以自动化各种日常任务，从基本的IT帮助台请求到复杂的用户行为分析。这种任务自动化通常由人工智能代理执行，是旨在执行任务和执行操作的自主软件。值得注意的是，各行各业的企业越来越多地采用人工智能工具来提高效率并降低成本。

然而，人工智能模型的兴起也导致了有效利用人工智能的新网络攻击的出现，即基于人工智能的攻击。这些攻击的特点是自动化、自适应性和针对目标量身定制。这些攻击的兴起为网络安全开辟了一个新领域，并正在改变网络安全格局。事实上，MITRE推出了MITRE ATLAS框架，作为广泛使用的MITRE ATT&CK框架的扩展，以应对人工智能系统中的对抗策略。

尽管人工智能技术发展迅速，令人兴奋，但其滥用也引发了重大担忧。事实上，世界经济论坛的《2024年全球风险报告》将错误信息和虚假信息列为与人工智能技术相关的最大风险。人工智能利用先进的模型，改变了网络安全威胁格局，并可能造成毁灭性影响。基于人工智能的攻击具有推理和行动的能力，使传统防御技术失效。这一发展为新兴复杂威胁铺平了道路，且其速度和规模远远超出了人类的能力。

近年来，基于人工智能的攻击浪潮一直占据着新闻头条。Deepfake技术以使用人工智能生成欺骗性内容而闻名。在香港，该技术被用来欺骗一名财务人员向诈骗者支付2500万美元；诈骗者在视频电话会议中冒充该公司的首席财务官。这类由Deepfake驱动的骗局对威胁者来说成本微不足道，预计会加速发展，威胁到所有企业。

随着个人数据在线足迹的不断增长以及基于人工智能的攻击日益复杂，威胁行为者现在能够开发更加个性化和欺骗性的攻击。其中一种攻击是社会工程攻击，即操纵个人泄露机密信息或执行危害其安全的行为。强大的人工智能模型（尤其是 LLM）的出现，使得历史上能力较弱的威胁行为者能够开发社会工程攻击。例如，骗子使用的声音模仿技术让一位15岁女儿的母亲陷入了可怕的境地，骗子声称绑架了她的女儿，而实际上女儿是安全的。

数字欺骗技术取得了长足进步，为社会工程攻击开辟了新领域。社会工程攻击对数字资产的影响是严重的，包括财务损失和隐私泄露。这些攻击可以通过不同的媒介进行，例如电子邮件、钓鱼网站、短信、语音或视频通话和社交媒体平台。一般来说，社会工程攻击主要依赖于利用以人为中心的漏洞，而不是数字基础设施安全的缺陷。

虽然针对基于人工智能的攻击的可靠防御技术仍在研发中，但涉及人工智能技术的网络安全事件数量已大幅增加。基于人工智能的攻击变得越来越强大，而且往往能够取得成功，其能力的迅速增强，使保护环境的任务变得更加困难。但这并不意味着诈骗者和黑客已经获胜。

解决人工智能攻击问题可以通过三种方式实现。首先，必须充分了解当前网络安全控制对新兴人工智能网络攻击的有效性。在人工智能攻击进一步发展之前，各组织之间可以立即进行对话和交换信息，这有助于制定全球对策。

其次，保护我们的关键资产取决于改进当前的安全措施、开发针对这些新兴攻击的坚实防御措施以及教育和提高社区对新形式技术的认识。此外，重新审视现有框架并更新它们以应对使用人工智能发起的新攻击是保护宝贵资产的重要一步。

最后，包括政府和领先的技术参与者在内的整个生态系统应该协同支持专注于人工智能和网络安全交叉领域的研究中心、初创企业和中小型企业。这项投资是一个关键驱动因素，有可能发现突破性的解决方案——就像OpenAI在任何老牌参与者之前彻底改变了人工智能一样。这迫切需要在全球舞台上采取更多合作举措，以确保网络安全防御的发展速度快于这些新的基于人工智能的攻击不断上升的威胁。

本文作者：

Abdulaziz Almaslukh，沙特信息技术公司（SITE）高级研究员

本文原载于世界经济论坛Agenda博客，转载请注明来源并附上本文链接。

编辑：王灿