为什么人工智能的安全性取决于实验室之后发生的事情

• 人工智能的风险日益增长——而且，这些风险越来越多地在算法通过实验室安全测试后才显现出来。管理这种风险唯有通过合作才能实现。

当人工智能（AI）系统通过实验室测试但在现实世界中造成危害时，谁应该为此负责？

人工智能是迄今为止最强大的技术之一，但其大规模部署却并未充分揭示其长期影响。它带来了一项独特的挑战：随着自主系统以惊人的速度和规模与现实世界的数据、工具、用户和运营系统进行交互，新的功能和故障模式会在部署后不断涌现，其后果难以预先评估。

随着人工智能事故和险情的增多，报告和经验分享却未能跟上步伐。 领导人、政策制定者 和 科学家 呼吁采取一系列措施，包括加快前沿人工智能的发展速度、加强独立评估和国际合作。

这就引出了一个问题：在人工智能能力及其风险仍在不断发展变化的情况下，政府、开发人员、集成商和部署人员现在应该做什么？

许多关于人工智能安全性的讨论都集中在开发前沿人工智能模型的公司身上。然而，人工智能的后果越来越取决于这些模型离开实验室之后会发生什么。

当与工具、敏感信息或关键基础设施连接时，多智能体人工智能系统可能会展现出涌现行为——这些涌现出的结果源于智能体、工具和环境之间的交互，而这些结果在实验室测试中可能无法显现。因此，人工智能安全必须涵盖从开发到集成和部署的整个价值链，否则关键风险可能无法被发现和解决。

当一次失败变成多次失败

公开记录的事件只能部分反映人工智能的风险，尤其是在人工智能被集成到运营流程中、连接到外部工具或被赋予更大权限时发生的故障。这种信息不透明性至关重要，因为故障不可能被孤立地看待。

共享的人工智能模型、组件和服务可能使多个组织、多个系统和多个行业面临同样的安全漏洞。由于它们跨越国界，一个缺陷就可能造成国际性的影响。例如，人工智能故障可能导致敏感信息泄露、触发未经授权的交易、影响不可逆转的医疗决策，甚至扰乱整个车队的运行。

2024年， 重大软件故障 这表明，一个漏洞就可能导致数百万台设备和关键服务中断。虽然这并非人工智能故障，但它揭示了共享模型、组件和基础设施所带来的连锁风险。危害程度取决于系统的功能、权限、部署范围以及故障检测和控制的速度。

问题不再仅仅是人工智能系统是否会出错，而是这种出错的后果会蔓延到什么程度。

如果没有清晰的人工智能价值链地图、明确的责任划分以及全球人工智能生态系统中透明的事件报告机制，我们就无法了解故障的性质、频率、严重程度或影响范围，也无法了解如何最好地预防和控制故障。

单靠政策本身并不能构成安全保障。

政策、安全承诺、行为准则和模型评估固然重要，但单凭这些都无法阻止人工智能系统出现意外行为或超越其既定权限。

模型在测试中可能表现良好，但在连接到现实世界的工具、数据和运营基础设施时可能会表现不同，因为测试条件和沙箱很少反映部署环境的复杂性。

随着人工智能自主性发展速度超过有效控制手段，模型安全和系统安全之间的区别日益模糊。安全措施应限制系统的爆炸半径，并支持预防、控制和恢复工作。

组织必须自行设定访问权限限制，要求人工审批，并保持停止人工智能系统的能力。开发人员应披露系统功能和故障模式，同时独立评估应检验安全措施在实际应用和系统更新后是否仍然有效。

安全不能仅仅靠承诺，必须通过实际行动来证明，并且问责机制必须融入到整个过程中。开发人员、集成商和部署人员需要明确的职责划分，以及足够详细的记录以便重现故障。组织必须能够调查、控制、恢复受影响的系统，并在必要时暂停这些系统。 

控制和应对故障的能力与预防故障的能力同等重要。

共同行动的三项优先事项

任何单一主体都无法独自应对这些挑战：开发人员了解模型的功能和局限性，集成商和部署商决定系统的使用方式，独立专家审查安全声明，政府建立问责机制。 

三个优先事项为部署后的合作和持续生命周期监控提供了切实的基础：

1. 规范人工智能系统实际可以执行的操作

随着模型变得更加强大、易于访问和自主，前沿人工智能不断发展，对基于固定标签或训练计算的治理提出了挑战。

固定的标签和训练指标无法反映已部署人工智能的风险。评估应侧重于整个系统能够做什么，在什么条件下，拥有怎样的自主权、访问权限和安全措施，并且当这些条件发生变化时，评估结果应重新评估。

治理必须跟上人工智能系统的发展步伐，而不仅仅是跟上它们最初的设计目标。

2. 让人工智能事件可见

必须更一致地报告和分享人工智能事故。

如今，报告方式的不一致使得故障比较、识别重复出现的漏洞以及判断孤立事件是否预示着更广泛问题的早期迹象变得困难。政府、开发人员、集成商和部署人员应就事件报告的通用方法达成一致，例如意外的自主操作、安全漏洞、遏制失效和险情等。

统一的定义和严重程度分级可以让不同行业和地区的组织互相学习，吸取彼此的教训。航空业几十年前就做到了这一点：对险情进行保密且不追究责任的报告，是航空业变得如此安全的原因之一。

现有举措，包括 经合组织人工智能事件监测欧盟人工智能法案的 严重事件报告规定 以及论坛的 代理能力和授权配置文件 为从被动报告转向主动授权奠定了有益的基础，但仍需加强全球协调。 

有效的报告还依赖于系统运行过程的审计跟踪，包括系统执行了哪些操作、使用了哪些工具、何时执行以及由谁授权。如果没有这些跟踪记录，就无法区分模型故障、集成错误、安全措施薄弱或部署决策失误。

这并不意味着需要完全公开。敏感的商业和安全信息应继续受到保护，同时确保负责预防和应对伤害的人员能够获得所需信息。

3. 要求提供安全措施有效的证据

组织不应仅仅依赖供应商的保证、政策或基准。对于每个系统和具体情况，都应通过结构化的证据基础来证明其安全性，类似于航空或核电领域的安全案例，其中应包含预期故障、已测试的安全措施和应对措施。

责任分担：开发人员记录模型的功能、局限性和变更；集成商在实际条件下测试整个系统；部署人员监控运行情况、险情和暂停触发事件。审查应体现潜在影响范围、可逆性、自主性和访问权限：文档摘要人员可能需要进行自我评估，而负责资金转移或设备操作的代理机构则需要在部署前和重大变更后进行独立测试。随着模型、权限和运行条件的演变，证据必须保持最新。

目标不是消除所有风险，而是证明风险已被理解，安全措施在现实条件下有效，并且故障可以被控制。

从反应到准备

前沿人工智能可以加速科学发现、构建复杂系统、提高生产力并帮助应对全球挑战。这些益处取决于各组织是否相信他们能够负责任地部署功能日益强大的系统，同时保持控制权。

国际辩论的焦点往往在于人工智能的发展应该加速还是放缓。这个问题固然重要，但不应掩盖目前可行的切实措施。

更完善的事故报告、独立的安全性证据和基于能力的评估有助于更早地识别风险并更快地做出响应。实现这些目标需要前沿实验室、部署机构和政府之间的合作。其目标是确保我们理解和管理人工智能后果的能力与人工智能的发展保持同步。

国际合作应将这些优先事项转化为切实可行的保障措施，现在正是采取行动的时候。