从聊天机器人到个人助手：治理如何成为释放AI智能体力量的关键

• AI向智能体技术的转变带来了一系列新的治理和安全挑战。

• AI智能体在相互关联的系统中自主性和记忆能力的扩展，产生了新的漏洞和安全需求。

• 对AI智能体实施负责任的治理，意味着要根据其所处的具体情境界定其能力范围。

在生成式AI浪潮之后，关注焦点正转向AI智能体。这些系统能够规划任务、调用工具，并代表用户在数字环境中采取行动。与生成回应的AI模型不同，智能体可以跨应用程序执行任务，并与外部系统交互。

这一从对话式工具向运营型智能体的转变，标志着AI部署方式的结构性变化。它还带来了一系列新的治理和安全挑战，其影响范围已超出模型性能，延伸至整个系统架构。

从对话到运营型智能体

早期项目如AutoGPT和LangChain为基础的智能体原型展示了如何将大型语言模型（LLM）串联起来，以规划并执行多步骤任务。然而，许多早期实现被证明较为脆弱，且难以可靠运行。

如今，首批基于LLM的运营型智能体正出现在有限范围的工作流程中，而基于新兴开源框架（如OpenClaw ）构建的更广泛个人助手仍在不断演进。其可能的发展轨迹是，从范围明确的智能体逐步扩展为能力更强的助手，这类助手可跨数字环境整合，并代表用户以日益增强的自主性采取行动。

当前这一轮智能体系统的独特之处，在于记忆能力、标准化系统访问和智能体间通信方面的进展相结合，同时还有一个日益壮大的开源编排框架生态系统。

新兴协议和基础设施机制，如模型上下文协议（MCP）、Agent2Agent（A2A）协议以及智能体名称服务（ANS），使智能体能够访问工具和外部资源，跨系统与其他智能体通信，并在分布式智能体生态系统中建立可验证的身份。这些发展有助于构建技术基础，使智能体能够与电子邮件、即时通讯平台、日历、云存储和企业系统等服务进行交互。

作为能力的记忆与风险集中

记忆是一项核心功能，使AI智能体得以转变为更高级的个人助手。记住偏好和过往互动的能力，使智能体能够预判需求、在任务之间保持连续性，并随着时间推移提供更加个性化的体验。

然而，正是这一能够实现更高程度个性化的架构特性，也使新风险趋于集中。当记忆在沟通、文档和生产力工具等多个界面之间实现统一时，助手便成为高度整合的个人或组织数据存储库。

传统应用程序中，数据通常按功能被割裂开来，与之不同，智能体系统能够跨越一系列数据源和情境进行推理。虽然这种跨情境能力提升了实用性，但薄弱的权限结构可能导致滥用，或引发在相连系统间层层扩散的安全失陷。

早期部署表明这种统一记忆模式可以发挥多大的作用，同时也说明，在更广泛应用之前，必须先妥善处理数据治理、访问控制和可审计性等问题。

AI代理和GenAI：它们有什么区别？这位专家将为您解答。

03:14

智能体世界中的安全

智能体系统还带来了一类独特的安全挑战。AI智能体通常会处理来自网页和文档等外部来源的信息，对这些信息进行解读，并借助具有特权的工具和系统集成采取行动。这造成的漏洞不同于传统软件系统中的漏洞，后者的输入更为结构化，其行为也由预定义的程序逻辑严格控制。

在实践中，当智能体与外部内容和相连系统交互时，可能出现多种类型的风险。嵌入在电子邮件、文档或网页中的恶意指令，可能通过提示词注入操纵智能体的行为。权限配置错误可能使智能体获得超出预期的访问权限，而含糊不清的指令则可能导致智能体在跨相连系统执行任务时采取非预期的行动。

随着AI助手从实验性工具演变为嵌入式数字协作者，安全评估必须覆盖整个架构，而不能仅限于模型层面。

校准自主性与权限

AI智能体的兴起凸显了一项更为广泛的治理挑战：自主性与权限必须被视为经过审慎设计的变量。

正如世界经济论坛在关于AI智能体与治理的研究中所述，授予系统的自主程度应根据其运行情境、所涉风险以及部署机构的制度成熟度进行校准。对于运行于高度敏感环境、可访问详细通信内容、凭证及个人信息的AI助手而言，这一点尤为重要。

随着智能体能力不断增强，渐进式治理成为必要，安全保障措施应随其运行范围的扩大而同步扩展。在实践中，这要求将自主性与权限视为可调整的设计参数。后果较为严重的任务应明确界定何时需要人工批准，而对关键系统的访问应予以分隔，而不应集中于单一智能体。

对智能体行为的可见性也变得至关重要。通过日志记录、评估和可审计性，机构能够在部署范围扩大的同时监控行为、发现故障并保持问责。与AI智能体相关的新兴生态系统涉及模型提供方、编排平台、扩展开发者、企业和终端用户，这意味着除非角色与职责得到清晰界定，否则问责可能会变得分散。

早期采用模式的一个关键启示是：当能力扩展速度快于治理时，用户将不得不在缺乏明确制度支持的情况下，自行应对复杂的风险权衡。

OpenClaw等开源项目的迅速涌现，表明智能体的实用性和自主性正在快速提升，而其底层治理架构也需要同步跟进并日趋成熟。若校准得当，AI智能体和能力更强的个人助手有望成为日常数字生活中值得信赖的组成部分。要实现这一目标，需要生态系统层面的协调、适度的保障措施，并清楚认识到在智能体时代，系统设计与治理密不可分。