随着越来越多的组织采用人工智能(AI)智能体,它们必须清晰界定智能体的角色,并建立相应的保障措施与监督机制。
近期研究提出了结构化开展AI智能体评估与采用的四大基础支柱。
即使智能体的能力不断增强,这一方法仍将帮助组织持续负责任地引导AI智能体。
人工智能(AI)智能体正迅速从实验性原型转变为企业、公共服务和日常生活中的集成协作者。这些由AI驱动的系统可以被设计为独立解读信息、做出决策并采取行动,以实现特定目标。未来几年还将不断涌现能力更强的系统,并对人类、企业和社会产生影响。
当组织采用AI智能体来辅助团队或在物理世界中开展工作时,应以对待新员工同等的严谨态度对其进行入职管理。这包括制定明确定义的角色、保障措施以及结构化的监督机制。
一份白皮书,《AI智能体实践:评估与治理的基础》由世界经济论坛安全系统与技术工作组与Capgemini合作编写,概述了负责任采用AI智能体的新兴基础。白皮书提出了四大支柱,为AI智能体的评估与采用提供结构化方法:
1. 分类
一种结构化的智能体分类方法 有助于决策者明确智能体的功能、行为方式以及应在何种条件下运行。一份“智能体卡片”(agent card),或称AI智能体的“简历”,智能体卡片可以在智能体被“入职”并整合进组织之前,提供有关其能力的关键信息。
智能体的画像应由以下七个核心维度界定:
功能:该智能体旨在执行什么任务?
角色:它是高度专业化的,还是通用型的?
可预测性:它是确定性的,还是非确定性的?
自主性:它能在多大程度上独立进行规划、决策和行动?
权限:它被授予了何种权限或系统访问权限?
用例:它部署于哪个领域或工作流程中?
环境:其运行环境有多简单或多复杂?
综合来看,这些维度可形成对智能体行为与运行情况的整体理解,这对于评估风险、设定监督水平以及在服务提供方、采用方和终端用户之间沟通预期至关重要。
自主性这一概念与早期的自动化形式大不相同。关键区别在于:自主性意味着决策的灵活性,即自行选择做什么;而自动化强调执行的可靠性,即按照系统的程序设定去做。自主性和权限不应被视为系统的固有属性,而应被视为可根据智能体的预期功能、风险考量和监督要求进行的设计选择。
例如,一台扫地机器人属于低权限、中等自主性,并在相对简单的环境中运行;而个人数字助理则可能跨越多个系统、跨平台访问敏感数据,并代表用户执行操作。因此,个人助理需要接受更为严格的审查:
2. 评估
随着组织开始部署承担不同职能角色的智能体,结构化评估变得愈发重要。传统的AI评估在很大程度上依赖以模型为中心的基准测试,即在受控场景中测试准确性或推理能力。但智能体并非静态模型,它们是由一个或多个模型,加上工具、记忆、反馈回路和用户交互共同构成的系统,且均处于不断变化的环境之中。
因此,评估AI智能体意味着需要考察多个维度,例如任务成功率、工具使用的可靠性、性能表现、随时间变化的行为、用户信任与交互模式,以及在真实世界工作流程中的运行稳健性。
AgentBench等新兴基准测试或SWE-bench等新兴基准测试能够提供早期信号,但真正的保障来自于情境化评估。这意味着需要在模拟实际部署条件的环境中测试智能体。因此,开发者(掌握系统专业知识)与采用者(掌握运行情境相关的数据与专业经验)通常需要密切合作,以确保情境内评估的准确性与可靠性。
3. 风险评估
评估提供证据,而风险评估则决定这些证据对安全性与适用性意味着什么。一般而言,风险评估的五步生命周期依次包括:界定情境、识别、分析、评价以及管理相关风险。
这一方法将分类与评估直接与治理联系起来。例如,在复杂环境中运行的高权限、高自主性智能体需要更多保障措施。非确定性行为还必须配以更严格的监控。此外,与外部系统交互的智能体必须在零信任安全假设下运行,因为其集成会扩大攻击面。
随着智能体越来越多地跨越组织边界、调用外部工具,并通过互操作性协议与其他智能体协作,这一结构化方法变得至关重要。
4. 渐进式治理
评估与风险评估为智能体的能力、性能、可靠性、安全性、安全保障及对齐程度提供了关键洞察。另一方面,治理则决定这些洞察能否转化为有效的监督与负责任的采用。
白皮书提出了一种渐进式的智能体监督方法,从一个基线起步, 适用于所有智能体,包括日志记录与可追溯性、为每项智能体行为设置清晰的身份标识,以及实时监控(越来越多地依赖智能体来监控智能体)。
渐进式治理方法可确保能力更强的智能体获得与之相称的监督,同时在长期扩展中仍保持创新与灵活性。
构建多智能体AI生态系统
AI智能体的下一个前沿远不止于组织内部单个智能体的集成。它涉及跨网络、平台和组织相互交互的新兴智能体生态系统。这意味着当前开始采用和部署智能体的组织,应考虑以下问题:
编排漂移:当智能体在缺乏共享上下文或协调逻辑的情况下接入其他智能体时,工作流程可能变得脆弱或不可预测。
语义错位:当两个智能体对同一指令的理解不同时,可能导致相互冲突的行动或重复性工作,进而对安全性、可靠性和协调性产生影响。
安全与信任缺口:若缺乏共享的信任框架,智能体可能在无意中泄露敏感数据,或与恶意行为者交互,从而利用系统中的漏洞。
相互关联与连锁效应:紧密关联的智能体或系统中的故障可能在网络中扩散,形成一连串的破坏。
系统性复杂性:随着相互作用的智能体数量与多样性增长,出现涌现行为和连锁故障的可能性随之增加,使其更难被预判、追溯或诊断。
这些新出现的问题使得前瞻性的监督与渐进式治理变得至关重要。使用审计智能体等新方法有助于大规模监控、验证和规范智能体生态系统。然而,这些方法也会带来新的脆弱性,包括依赖智能体监控其他智能体所带来的风险。
负责任地部署AI智能体的规划
AI智能体已在各行各业创造价值,涵盖加速研发、客户服务,到帮助组织管理复杂运营等方面。但随着其能力不断增强,组织负责任地引导它们的能力也应随之提升。
白皮书所介绍的分类、评估、风险评估与渐进式治理等基础,为当下正在为智能体化未来做准备的组织提供了结构化的蓝图。通过审慎的设计、相称的保障措施以及跨职能协作,AI智能体能够增强人类能力、释放生产力,并支持高信任、高影响力的数字生态系统。
然而,AI智能体长期能否成功应用,取决于能否构建出始终可理解、可靠且可问责的系统。这些系统必须作为共享工具而构建,以实现长期的价值创造。



