目前存在许多人工智能特有的新风险。
每当我们观察到一种新的技术趋势时，我们都可以预见其潜在危害的出现，以及威胁者将我们对技术的使用变现的机会。
本博客是议程系列的一部分，该系列来自人工智能治理联盟，该联盟倡导负责任地在全球范围内设计、开发和部署包容性人工智能系统。
随着先进深度机器学习的日益广泛应用，在部署人工智能的同时，必须承担起确保此类系统完整性、安全性和保障性的责任。
新风险
关于人工智能特有的新风险，已有大量辩论和讨论。一个关键例子是，使用人工智能的系统可能缺乏公平性或存在偏见。这源于其初始训练数据，或源于我们在系统随环境演变和学习时如何维护人工智能模型。其他担忧还包括：缺乏审查能力、无法检验系统完整性，以及难以保持与我们价值体系的一致性——这通常是由于难以理解人工智能系统如何得出其输出结果，而在输出结果不可靠的情况下，这些问题会更加严重。
还有一些新的方式可能通过攻击人工智能系统本身而危及组织。目前已知多种漏洞。攻击者可能通过用于训练和模型演进的数据集来影响学习过程，从而产生潜在不安全或仅仅是偏离目标的不同模型，使其按威胁行为者的意图行事。
但是，人工智能系统的脆弱性不会仅限于数据投毒或模型不安全漂移等风险。我们还将遇到自计算机系统诞生以来一直不断破坏其运行的各类运行时软件错误。如果人工智能环境遭到入侵，此类错误将为攻击者提供机会，使其控制本地计算机，并将其作为平台，进而在更广泛的业务基础设施中横向移动。最终，与任何其他数字系统一样，潜在危害的范围将由使用场景决定。就人工智能而言，这一范围广泛且不断扩大，无疑将包括处于关键基础设施之内的系统，甚至可能危及人类生命。它们还将影响人与社会，可能波及人类能动性和民主进程，以及各行业和企业的治理。
日益增长的网络威胁
人工智能系统漏洞与风险的案例正在增加，网络安全专业人士正积极开发相关模型，以支撑应对此类威胁的技术。然而，在保护人工智能系统及其所支持的业务流程方面，我们的能力仍存在显著的能力差距。
相关发展正处于更广泛的地缘政治和技术背景之中。当前国家之间的冲突正推动网络攻击与防御技术的创新和能力建设进入活跃期。我们可以预见，这一趋势在不久的将来将蔓延至其他领域，例如网络犯罪。这意味着我们将面临更严峻的网络威胁，威胁者的技能更加娴熟，威胁行为者生态系统也日益壮大。
全球范围内对更广泛技术和商业模式的投资，例如物联网和云服务，将带来发展人工智能能力的重大机遇——包括获取算法、模型和训练数据集，以及提供人工智能即服务产品和解决方案，使该技术更易获取、更便于使用。这意味着，那些希望攻击我们系统和经济体的人，将具备人工智能赋能的能力。
目前，我们或许会将以下两类问题视为独立问题：一是确保系统所建议的决策符合我们的伦理或法律；二是保护人工智能模型免受威胁行为者的蓄意和隐蔽操纵。但随着时间推移，我们可以预见攻击目标将是入侵人工智能系统本身，使其输出超出可接受及伦理规范的内容，或许是为了勒索赎金，或释放被篡改的模型或数据集。此类风险并非仅仅存在于我们的想象或科幻频道中，它们是我们每日在网络空间、业务运营以及整个供应链中观察到的各类威胁的直接延伸。每当我们观察到一种新的技术趋势时，我们都可以预见潜在危害的出现，以及威胁者将我们对技术的使用变现的机会。
支持有效监督的必要性
我们面临的威胁水平正在上升，而我们对数字技术和服务的依赖正在造成系统性网络风险。这些风险的累积效应仍部分隐蔽，难以预测和量化。在我们利用人工智能技术，为人类面临的一些最紧迫挑战带来并交付新一代解决方案的同时，毫无疑问，我们负有受托责任和伦理责任，确保我们在该技术上的投资不会面临不可接受或无法管理的网络风险。我们可以预期网络安全专业人士将提供思路、实践和工具，但前提是我们必须确保存在市场需求。
我们是否知道自己需要什么？解决方案的核心将是企业，我们需要领导者发挥作用，推动我们迈向安全、可靠的人工智能赋能未来。高级领导层一个显而易见的起点，是确保现有风险控制措施——那些已获投入、经过衡量且运行良好的措施——能够延伸至使用此类人工智能技术的企业模式。我们的保险提供商、投资者、客户和监管机构都将寻求这一立场；我们需要具备既能实现监督、又能有效抵御有动机的威胁的运营控制措施。
这并非易事。现有实践中存在一些差距，而人工智能的使用将加剧这些差距，因为我们目前尚未拥有可用的专业网络安全解决方案。
• 网络安全控制措施的有效性以及如何优化协同编排，目前尚未得到充分理解。这意味着网络风险敞口的计算可能不准确。
• 高级领导层往往缺乏数字化直觉，其结果可能是网络安全战略与更广泛的业务使命之间的关联薄弱。
• 董事会层面的审查薄弱，意味着意外风险更有可能发生，且对代价高昂的网络事件准备不足；负责监督关键国家基础设施或行业的人员也面临类似挑战。
论坛如何应对全球网络安全挑战？
网络安全中心为领导者提供了一个可信赖的平台，使其能够齐聚一堂，理解不断演变的网络风险及其系统性影响。该中心专注于在日益互联的数字世界中建立理解与信任。
通过促进跨行业合作与洞察分享，该中心帮助合作伙伴增强网络韧性，应对需要集体应对的挑战。
缺乏人工智能专业网络安全解决方案
其中一个例子（还有很多）体现在威胁监测与检测领域。我们从未能够阻止所有威胁进入我们的系统。即便我们能够确保不存在对外部威胁构成可行攻击面的脆弱技术（任何安全专业人士都知道不应做此假设），我们仍将始终面对持有合法访问权限的人员对我们发起攻击，或将此类访问凭证出售给第三方使用。这意味着，具备检测受损系统的能力至关重要；否则，现实情况是，我们可能在不知情的情况下使用已被入侵的人工智能来协助做出影响人们生计、经济和关键基础设施的决策。
目前，我们尚未建立完善的人工智能系统威胁检测机制。这种状况是不可接受的。如果国家、全球性或小型企业的领导者无法知晓其系统已丧失完整性，他们又如何能够有效地进行监督和制定战略？
即便我们具备了检测人工智能系统攻击的能力，也需要将其与所有其他运营网络安全职能一并部署。这将要求就如何对工具和分析人员提出的问题进行优先排序做出决策；我们根本没有能力应对每一种可能的威胁。任何成熟网络防御的关键方面，都是能够以威胁为导向，即将有限资源集中用于那些被判定为危害最大的风险。在使用人工智能的情况下，这意味着我们还需要确保能够获取针对人工智能赋能威胁及以人工智能赋能业务为目标的威胁行为者的专业威胁情报。与同行分享经验和威胁洞察对于成功至关重要；我们需要培养前瞻能力，能够预判威胁，从而调整安全态势，保持网络韧性。
领导力的重要性
我们需要培育能够回应生成式人工智能使用所引发担忧的组织文化。负责任的做法应当在使用方面保持开放和透明，支持与客户及利益相关方的沟通，倡导关怀，并努力确保人工智能系统与我们的价值观保持高度一致。如果在检测到攻击时难以撤回学习成果，我们甚至可能需要考虑备用方案——这可能包括具备关闭系统的能力。
使用人工智能的企业领导者必须坚持部署运营安全能力。在风险可能十分重大的情况下，他们甚至可能需要进行专门的风险评估和剩余网络风险价值计算。为高级领导层组织一场桌面式网络风险演练，并纳入人工智能技术及更广泛的组织业务流程遭受入侵的情景，对于2024年而言至关重要。
总之，要实现网络安全的人工智能系统和企业，我们需要前所未有的活力、速度和适应能力。强有力的领导至关重要，因为没有它，我们便无法实现组织所需的速度，也无法获得适应与韧性所需的动能。我们调整和发展网络韧性的能力，完全取决于核心的实力，而这一核心的基因正是由领导力所塑造和演进的。
人工智能治理联盟拥有230多名成员，致力于倡导负责任地在全球范围内设计、开发和部署包容性人工智能系统。该联盟汇聚来自不同行业的专家，共同致力于塑造人工智能的治理与负责任的发展。欢迎通过本博客系列深入了解人工智能领域的前沿思想领导力。该系列由人工智能治理联盟指导委员会的资深成员精心策划，我们将与您一同探讨人工智能这一不断演变的领域中所面临的复杂挑战与机遇。
