人工智能新命题:平衡创新与安全

Artificial intelligence AI deep learning computer program technology. Cyber leaders must effectively communicate AI-security risks to make the case for investment in mitigating them.
Cyber leaders must effectively communicate AI-security risks to make the case for investment in mitigating them.Image: Getty Images/iStockphoto
本内容由人工智能自动翻译。
  • 人工智能已成为全球董事会和高管层的热门议题。

  • 企业领导者往往不了解组织在采用人工智能系统时面临的网络风险。

  • 为最大限度地发挥采用或使用人工智能技术的益处,企业领导者需要推动建立健全的网络风险治理体系。

随着人工智能成为董事会讨论全球投资决策时的焦点,企业领导者往往不了解组织在采用人工智能系统时面临的网络和数字风险,也不清楚应采取哪些策略来缓解这些风险。

为了保持竞争力,组织必须鼓励创新,包括将人工智能用作业务赋能工具。然而,只关注人工智能带来的机遇,却不应对相关网络风险,会使组织暴露于风险之中。必须将人工智能解决方案的全部成本纳入考量,包括与安全相关的支出。网络安全领导者不应扼杀创新,而应强调将安全性融入设计的重要性,实施适当的网络安全控制措施,并将这些成本纳入考量,以维护业务价值。

因此,要充分实现人工智能的益处,关键在于全面了解网络风险敞口并实施适当的控制措施。

人工智能安全的风险与成本

人工智能技术扩大了组织的攻击面,带来了训练数据投毒和提示注入等新风险。此外,这些技术也为既有风险开辟了新的途径——例如,训练和测试数据库的规模会带来大规模数据泄露风险。

另一个需要考虑的因素是,除了传统网络安全的属性——机密性、完整性和可用性——评估人工智能驱动的网络风险时,可能还需要考虑模型输出的可靠性和可解释性等因素。

商界已经认识到网络攻击可能造成的损害类型,例如人身、财务或声誉损失。与现有的网络危害分类相比,人工智能未必会给组织带来新的危害类型,而是会放大既有危害,提高这些危害发生的可能性和/或严重程度。

不同企业的情境因素会影响并驱动其网络风险,在制定人工智能风险缓解策略时必须予以考虑。人工智能技术与业务流程之间的关系显然会影响风险:将人工智能用于关键业务流程或与关键基础设施相连的组织,因中断可能造成的影响而面临更高的网络风险。人工智能系统的自主程度也会影响风险;尽管人工监督与制衡可以缓解部分风险,但随着人工智能应用不断扩大,仍需可扩展的解决方案。高度自主的人工智能系统甚至可能成为威胁主体。此外,人工智能技术的来源和管辖权也会影响风险评估。

企业自身的特征也会影响风险和风险缓解机会,包括企业规模、对早期采用技术的意愿、在人工智能供应链中的位置(是创建并可能供应人工智能模型,还是产品与服务的使用方),以及所在的国家环境(包括是否存在相关法规和网络安全市场)。

要基于充分信息和风险作出是否采用人工智能的决策,就必须清楚了解其益处与潜在危害。目前,人工智能的真正益处尚不明朗,应用场景仍在发展中,而且往往受到倡导者的推动,这使准确的成本效益分析更加困难。

这位教授请 ChatGPT 设计一门大学课程。以下是事情的经过。
这位教授请 ChatGPT 设计一门大学课程。以下是事情的经过。
03:55

采取整体性的控制措施至关重要

保障人工智能应用安全的工具市场正在扩大,但许多控制措施仍不可用或难以实施。大多数人工智能安全工具针对特定应用场景,反映出人工智能模型在功能、训练和输出方面的多样性,因此难以建立通用的控制措施基线。

组织需要采用多种人工智能安全控制措施,包括用于解释和追踪输出的工具、人工智能模型安全监控、红队测试指南、受损系统恢复工具、退役流程和回滚程序(类似“紧急停止开关”)。鉴于人工智能输出具有不可预测性,人工智能系统可能还需要比传统软件更多的人工监督。

与网络安全的其他领域一样,不同司法管辖区的监管要求存在差异,已给跨多个司法管辖区运营的组织带来合规挑战。目前,针对采用人工智能相关网络风险所需的控制措施基线,尚未形成标准。

有效传达风险

网络安全领导者必须着力向业务部门有效传达人工智能安全风险,这对于支持其投资申请至关重要。企业领导者需要了解这些风险与业务优先事项之间的关联。因此,有必要制定工具包,帮助组织了解自身的风险敞口,并提供明确指导,说明如何向相关受众传达这些信息。

当前人工智能的普及,为网络安全领导者提供了绝佳机会,帮助组织从这项技术中创造业务价值,同时保护运营免受相关网络威胁。

世界经济论坛的网络安全中心正与牛津大学全球网络安全能力中心携手牵头推进“人工智能与网络安全:平衡风险与回报”倡议,引导全球领导者制定策略并作出决策,应对采用人工智能背景下的网络风险并把握相关机遇。这项工作与人工智能治理联盟合作开展。该联盟于2023年6月成立,旨在为人工智能系统的负责任设计、开发和部署提供指导。了解其工作详情,请点击此处。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。