从记录系统到信任系统:董事会层面的智能体AI治理指南

Boardrooms are increasingly reallocating decision rights to autonomous systems like agentic AI, while retaining governance models built for human judgement.
The mismatch between agentic AI and human judgement is the real risk for boards and governance.Image: Getty Images
本内容由人工智能自动翻译。
  • 董事会正日益将决策权让渡给自主系统,同时保留为人类判断而构建的治理模式。

  • 智能体AI与人类判断之间的错配才是真正的风险,问题不在于系统行为,而在于董事会如何界定授权的边界。

  • 这意味着,要治理信任系统,董事会必须放弃对全面控制的幻想,新的使命是构建约束架构。

几十年来,董事会治理技术的方式一直相同:购买系统、聘用团队、制定政策、审计结果。但近期的转变有所不同。

现代董事会面对的不是采用一类更快的软件,而是将决策权让渡给AI智能体等自主系统,同时保留为人类判断而构建的治理模式。

自主系统与人类判断之间的这种错配才是真正的风险,问题不在于系统行为,而在于董事会如何界定授权的边界。那些治理这些智能体、而不仅仅是购买它们的董事会,将悄然积累起竞争对手甚至无法衡量的优势。

世界经济论坛近期发布的AI Agents in Action白皮书,连同其Advancing Responsible AI Innovation 行动指南,反映了董事会中已然可见的现实:治理现在必须被编码落实,而非仅仅被讨论。

随着智能体从对话性的新奇工具转变为核心运营引擎,战略指令与灾难性执行之间的时间差将趋近于零。实际上,这意味着董事会现在正在(往往是盲目地)投票决定人类判断在何处终止、机器权限从何处开始。

治理在实践中失效之处,往往不是董事会关注的地方。董事会通常认为风险是技术故障,比如智能体产生幻觉或崩溃。但自主智能体的真正失效模式很少是崩溃,而是将超强能力应用于有缺陷的指标。

设想一个优化采购的金融智能体。它并未失效,而是完美执行,大规模重新谈判以攫取微小收益,却导致一家关键供应商倒闭,扰乱了供应链。系统完全按照设计运行。这正是失效所在,而标准风险矩阵对此完全无法察觉。

传统合规往往是事后进行的,但以机器速度运行的系统无法被追溯审计。对自主智能体依赖静态审计,就如同在子弹击中墙壁之后再去分析其轨迹。

经济合作与发展组织的(OECD)AI政策观察站指出,尽管各国的AI战略不断涌现,但面向实时智能体监督的功能性框架仍然缺失。我们正在打造没有刹车的引擎,却指望老旧的安全带来保护我们。

智能体AI时代的信任系统治理

对治理而言,其含义十分明确。要治理信任系统,董事会必须放弃对全面控制的幻想。新的使命是构建约束架构。

董事会指令1:为合理摩擦而设计

核心权衡在于系统最大产出与法律可辩护性之间。绝对效率会消除人类的可理解性。如果你无法解释决策是如何做出的,就无法为其辩护。

因此,治理要求有意地约束速度。董事会必须设计“可理解的摩擦”,即设定明确的暂停节点,使高风险行动需经人类授权。看似低效的环节,实际上正是运营控制。

美国AI安全研究所联盟体现了向标准化护栏的转变。正如美国前国防部副部长凯瑟琳·希克斯(Kathleen Hicks)所强调的:“当我们说‘人在回路中’时,指的是指挥链中的某个人最终必须承担责任。”

董事会指令2:审计奖励,而非路径

实时做出数千项微决策不可行。董事会必须从审计执行转向治理底层的奖励函数。如果你激励智能体最大化用户参与度,它会找到实现这一目标的最极端路径。目标决定结果。

这不能仍是西方的构想。基于狭隘数据训练的系统将重塑全球结果。诸如Research ICT Africa的“Africa Just AI”项目等举措表明,需要将区域现实嵌入系统目标之中,以避免加剧结构性不平等。

董事会指令3:内化责任边界

董事会仍将风险转移视为合同事项,但实际上,问责是不可转移的。基础设施可以外包,但责任仍归属于机构。当自主采购智能体执行歧视性供应商选择时,无论这一权力是否被明确理解,它都是在董事会的授权下进行的。

全球机构现在将AI视为贸易与增长的结构性驱动力,而非旁枝实验。要获取这一收益,就必须内化其下行风险。你无法为代表你行事的合成行为体购买赔偿条款。如果智能体采取行动,就必须由一名具名高管承担后果。

这些转变已不再只是风险登记册上的情景设想,它们已出现在董事会会议纪要和诉讼案卷中,并且要求机构以季度而非年度为单位做出回应。

构建AI的透明度与信任

不同利益相关方应采取以下行动,以助力构建智能体AI的透明度与信任。

  • 政府:应监管智能体与市场、关键基础设施及物理系统交互的接口,而非底层模型。使这些控制节点与联合国可持续发展目标第16项(和平、正义与强大机构)保持一致,以确保机构透明且负责。

  • 企业领导者:应摒弃合规可以在部署后再叠加的假设。安全是一项设计决策,需要牺牲部分峰值优化。将风险容忍度直接编码进系统架构,并与新兴基准保持一致,例如用于AI管理体系的ISO/IEC 42001。为可辩护性支付代价,或承担不受控失败的成本。

  • 民间社会:应将审查重点从训练数据转向优化目标。不仅要求披露系统摄取的内容,还要求披露其被激励实现的目标。奖励函数是人权的新战场。

AI代理和GenAI:它们有什么区别?这位专家将为您解答。
AI代理和GenAI:它们有什么区别?这位专家将为您解答。
03:14

董事会应立即启动三项指令:

  • 要求进行影子智能体审计:识别组织内部自行构建的非正式自动化。首要风险不在于供应商AI,而在于未经监督的内部影子部署。

  • 强制进行董事及高管(D&O)责任压力测试:审查董事及高管(D&O)保险对自主AI过失风险的覆盖范围。许多保单未考虑智能体驱动的风险。目前,大多数董事会很可能存在重大保险不足。

  • 开展“合成传票”演练:要求管理层像面对法律审查一样,正式为智能体所做的某项高风险决策进行辩护。如果领导层无法清晰地将该决策追溯至既定目标与人类意图,该系统就不应继续运行。治理始于可解释性失效之处。

未来十年的决定性责任,不在于你未能编写的代码,而在于你允许机器执行的决策。你可以将执行外包给合成系统,但受托责任不能外包。

当AI智能体采取行动时,它扩展了董事会的决策边界,责任也随之扩展。系统不再只是处理账本,而是在书写历史。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。