洞察AI：首席信息安全官最关注哪些问题？

• 随着生成式AI系统的发布，网络风险格局发生了显著变化，促使各组织评估其对网络安全的影响。

• 必须评估AI的近期优先风险与长期担忧之间的关键区别。

• 我们与首席信息安全官（CISO）进行了交流，以确定他们对AI相关问题最为关注的近期事项，以及他们为应对这些问题所采取的行动。

随着生成式AI变革潜力的显现，人们正广泛讨论与该技术未来发展相关的风险和忧虑。社会对AI的依赖日益加深、系统可能失去控制、系统目标与人类价值观不一致，以及与AI系统争夺资源的可能性，都是人们激烈争论的话题。

虽然对这些长期风险的讨论至关重要，但网络安全负责人面临的是与生成式AI系统广泛应用相关的、不同的近期风险。通过这些系统发生的多起数据泄露事件（例如今年早些时候三星工程师将内部源代码上传至ChatGPT而无意中泄露的事件）首次表明，生成式AI的进展是如何转化为新的网络安全漏洞的。

鉴于网络安全负责人必须迅速采取行动应对这些近期问题，因此必须明确这些紧迫问题，并将其与更长期的风险加以区分，而这一点往往容易被忽视。

首席信息安全官的近期关切

我们与首席信息安全官进行了交流，以确定他们在近期AI进展方面遇到的主要近期关切。

• 对抗能力的增强：生成式AI能力降低了发起网络攻击（如网络钓鱼、恶意代码生成和深度伪造）的开发与实施成本，并增强了攻击自动化和规模化的能力。因此，生成式AI使网络犯罪分子更容易发现并利用漏洞和安全缺口。

• 生成式AI系统的不当使用与数据泄露：生成式AI系统的不当使用带来了一系列挑战，包括无意中泄露敏感信息。这也意味着，机密信息可能被有意或无意地用于训练生成式AI系统，从而引发严重的保密性担忧。此外，还存在无意中使生成式AI系统执行其不应执行的操作的风险，例如通过提示词注入，或将其用于最初并非设计的用途，从而导致不良后果。

• 黑箱效应：AI模型的完整性难以证实。开发模型所使用的复杂代码并非总能被完全理解，包括开发者本人也未必完全了解。这导致此类系统缺乏透明度，使其更难获得信任。此外，在生成式AI系统的开发中，往往缺乏全面的安全设计理念和充分的安全控制措施。

• 部署和保障生成式AI系统的成本：生成式AI进展的成本影响是多方面的，包括采购、开发和部署生成式AI系统所产生的费用。此外，AI系统的使用还会增加能源消耗。其他成本影响还包括网络安全团队方面的成本，例如员工技能提升、开展宣传活动以及开发保障此类系统安全的新方法所产生的额外费用。

应对新型AI相关挑战的具体行动

尽管仍需付出大量努力来全面理解生成式AI系统的影响并加以整体应对，各组织已开始采取初步措施，以应对在网络安全及其他领域中出现的新问题：

• 全组织范围内的协商： 鼓励员工测试并讨论该技术，并分享其相关担忧。为促成成功应用，培育与AI进展相关的参与和创新文化至关重要。

• 工作组： 设立专项工作组，应对优先挑战，涵盖从知识产权保护到内部威胁等各个方面。

• 治理委员会： 为跨学科团队使用AI系统制定指导原则和护栏，相关团队可能涉及网络安全、IT、法务、人力资源、数据保护及面向客户的部门。

• 教育与宣传计划：在全组织范围内实施AI教育和宣传计划，促进工具的负责任使用，并加深对相关风险的理解。

• 调整网络安全战略、政策和实践： 审查现有网络安全战略和政策，以应对与AI进展相关的新兴网络威胁。例如，这包括要求员工披露其生成式AI工具的使用情况、限制其使用，或就在个人设备上处理公司数据时如何使用这些工具提供指导方针。

• 审查技术控制措施： 根据不断变化的威胁格局以及新型AI系统的应用，调整网络安全控制措施。

呼吁开展多方利益相关者行动

尽管各组织已采取初步行动，但这些努力主要表现为战术性和孤立性的做法。全面应对生成式AI所带来的网络安全影响的历程才刚刚开始。为生成式AI建立网络安全基础，是建立可信、合乎伦理且负责任的AI的必要基础工作的一部分。

在此背景下，网络安全负责人面临着多项行动机遇，包括识别并发挥AI的防御潜力、明确网络安全风险的治理框架，以及就旨在确保安全采用和使用生成式AI的监管提供意见。

要应对生成式AI带来的影响，毫无疑问需要采取整体性的多方利益相关者方法。随着各组织、监管机构和技术专家通力合作，这些技术进步的变革力量可以得到负责任的利用，从而守护我们的数字未来。

在此背景下，世界经济论坛于2023年6月启动了人工智能治理联盟。该联盟旨在为人工智能系统的负责任设计、开发和部署提供指导。了解该联盟工作的更多信息请访问此处。