为什么企业人工智能代理在大规模应用中会失败——以及如何让它们保持正常运转

undefined
事实证明,扩展人工智能代理的规模比预期的要困难得多。图片: Unsplash/Compagnons
本内容由人工智能自动翻译。
  • 企业人工智能代理项目在试点阶段往往取得成功,但在规模化应用时却会遭遇挫折。问题很少出在人工智能本身,而是缺乏系统层面的一致性——这凸显了在规模化应用之前,明确跨职能部门的责任归属和切实可行的运营保障措施的必要性。

企业人工智能代理程序一旦停滞不前,其模式往往惊人地一致。系统通过试点和风险评估后,一旦十几个或更多自主代理同时运行,就会出现问题。审批率波动不定,却无人能解释原因;人工审核队列中充斥着各种意想不到的奇葩案例。

底层人工智能本身没有问题。真正缺失的不仅仅是高层人工智能治理,而是更具体的问题:没有人负责整个系统的协调一致。

一致性意味着,一天之内跨越多个工作流程做出的数百个自主决策彼此之间、与当时生效的策略以及每个代理实际能够看到的数据都保持一致。 

成熟的行业花费数十年时间建立起共享标准,以确保记录的一致性——银行能够准确掌握付款完成的确切时间,供应链则依赖于单一且精确的库存数量统计。而智能体人工智能目前还没有类似的规范。

原因在于结构性问题。工程部门负责延迟,业务部门负责回报,合规部门负责策略文本,运营部门负责事件。每个部门都在各自的职责范围内进行优化。一致性存在于这些职责范围之间,因此即使没有任何部门的仪表盘显示异常,一致性也会下降。

为什么人工智能代理的规模化比预期更难

经纪人正从试点项目转向投资组合,而这种转变带来的压力也日益显现。Gartner预测: 到2027年底,超过40%的智能体人工智能项目将被取消。 由于成本不断攀升、价值不明确以及风险控制不足。 毕马威2026年第一季度美国脉搏调查65% 的领导者认为难以扩大人工智能用例规模是证明回报的最大障碍,高于上一季度的 33%。

失败案例研究也指向同一个方向。 加州大学伯克利分校多智能体故障分类法该模型基于超过1600个执行轨迹构建而成,将41.77%的失败归因于规范问题,36.94%归因于代理间不一致(例如假设冲突或信息缺失),21.30%归因于验证薄弱。作者怀疑仅靠改进基础模型无法弥补这些差距。

监管机构也没有介入制定这些标准。2026年4月美国跨部门风险指导模型, SR 26-2并将生成式人工智能和智能体人工智能排除在其研究范围之外,认为它们是“新颖且快速发展的”。 FINRA 2026 年监管报告 将现有的监管和记录规则应用于人工智能,并首次将智能体标记为风险。当没有规则手册定义一致的行为时,问责制默认由企业承担。——世界经济论坛 关于代理人治理的白皮书 将日志记录、可追溯性和身份标记作为所有代理的基本功能。

领导者如何防止人工智能代理偏离轨道

缺乏明确的监管保障或内部责任归属,停滞不前的AI项目往往会按照可预见的顺序崩溃。首先,智能体的行为会发生意想不到的改变——并非因为有人重写了软件,而是因为底层模型、审批规则或数据格式发生了变化,而没有人追踪这些变化对决策的影响。其次,随着智能体耗费更多计算资源来处理混乱的现实世界输入,成本不断攀升。很快,单个决策就变得无法重现或解释。最后,由于现实世界的结果——例如延迟发货或客户投诉——从未反馈到系统中,智能体不断重复同样的错误。所有这些问题最初都通过了测试,但实际上都是伪装成技术故障的运行失败。

为了避免这种恶性循环,组织需要采取以下四个切实可行的步骤:

  1. 对控制代理的所有内容进行版本控制。 行为由模型、规则和数据决定,但大多数企业只维护其中一个版本。应该记录所有决策及其对应的规则和数据,以便在更改其中一个变量后可以重现该决策。构建该版本的目的是为了调试而非审计:团队每周都会使用它,合规部门也会从中受益。将策略变更视为版本发布,并在正式发布前根据之前的决策进行重现测试。

  2. 给编曲层添加一个时钟。 同一工作流程中的两个客服人员可能基于同一客户记录的不同快照,在几分钟内做出不同的决策。两个决策都有效,没有出现任何错误,但这种不一致性却在几周后以投诉的形式显现出来。因此,需要设定一个数据新鲜度阈值,并在流程编排层强制执行,一旦超出阈值,就应立即停止并上报问题。这样,原本悄无声息的错误就会变成公开的警报。

  3. 发射前模拟人类能力。 通常情况下,真正的制约因素是升级处理能力,而非计算能力。如果目标处理量下有 15% 的决策需要升级处理,那么你的服务窗口期内就需要配备一定数量的合格人员。先计算出所需人员数量,然后再做决定:限制处理量、收紧规则或增加人员配备。

  4. 形成闭环。 采购代理批准了一笔订单,三周后交货却迟迟未到。这一结果存储在另一个系统中,没有共享标识符。将结果与决策记录关联起来,并使其可作为先例查询,无需重新培训,只需进行一些基础架构方面的改进。这正是系统能够积累判断力的关键所在。

企业为何需要人工智能编排架构师

必须有人负责统筹工程、业务、合规和运营之间的协调一致。不妨称这个角色为“编排架构师”。此人不负责构建代理或选择框架,而是负责运营模式。测试方法很简单:一个人能否在不召集工作组的情况下,解释为什么一月份的审批率与七月份的审批率不同?

这种人才非常稀缺。它要求既精通前沿人工智能技术,又熟悉企业运营;擅长其中一项的人往往难以胜任另一项。最可靠的方法是聘请一位经验丰富的运营人员,他深知决策失败的代价,并进一步提升其人工智能素养。另一种方法是根据个人特质进行招聘:拥有规模化支付或供应链运营经验的人,其表现可能优于一位缺乏运营经验的认证人工智能专家。职位安排也很重要:向首席运营官 (COO)、首席技术官 (CTO) 或同等职位的人员汇报,能够确保该职位涵盖所有四个职能部门,而不是局限于某一部门。

三个问题,测试贵公司是否已做好人工智能代理准备

为了快速了解自身当前的风险敞口,企业应该问自己三个问题:能否重现 90 天前做出的决策背后的模型、规则和数据状态?在目标业务量下,是否有足够的合格人员来应对不断增长的风险?六个月前系统做出的错误决策,其结果是否最终到达了产生该决策的逻辑层面?

这些都不是典型的问题,即使有了更好的工具也无法解答。它们提出的问题是:是否有人对整个系统而非某个组件负责?在当今大多数企业中,没有人承担这样的责任。尽早弥合这一差距将带来持久的优势。

文中表达的观点仅代表作者个人观点,并不一定反映联合国的观点。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。