为何AI治理的未来取决于人类判断

undefined
本内容由人工智能自动翻译。
  • 在一项针对逾32,000次扫描的研究中,放射科医生在约2%的病例中推翻了AI工具的判断,而他们的判断在十次中有近九次是正确的。

  • 欧盟、韩国、越南及其他地区的新AI法律,日益要求个人对AI决策的监督与推翻承担责任。

  • 这种基于判断的AI治理会随经验而提升,高风险决策能力在55至65岁之间达到峰值。

在吉隆坡市中心,资深银行经理Diana的名字与机器做出的决策绑定在一起。当贷款模型批准或拒绝一项申请时,监管机构会追究她对错误所负的责任。

Diana不只是签字确认的审核者,她会质询模型、标记可疑输出,并对纠正工作负责。她的银行下季度可以购买更好的AI模型,但要同样轻松地买到Diana所提供的洞见,则并不可能。

管理委员会和董事会仍将AI治理主要视为技术问题:采购系统、设置人在环中,然后应付审计人员。

如果这一流程中的某些环节听起来空洞,你并不孤单。“人在环中”这一说法已成为我们反复念叨的一种慰藉,却没有追问更难的问题:当模型与实际情况相左时,该人员能否真正做出明智决策?模型从来不是AI治理中的难点。判断更为重要,而任命像Diana这样的人至关重要,因为她能在风险真实但输出有误时,判断何时介入。

判断型AI治理正在哪些地方推行

欧盟《人工智能法案》自2024年8月起生效,要求依据第14条,高风险系统须允许指定人员监督、质询并推翻其输出。新加坡的MAS已提出风险管理指引,现已结束公开咨询,该指引将使董事会和高级管理层需对贷款、风险和欺诈相关的决策承担责任。韩国的《AI基本法》自2026年1月起生效,对高影响力AI运营者提出安全与透明度义务。马来西亚拟议的人工审核权将要求审核人员具备推翻机器判断的权限与能力。

越南的《人工智能法》自2026年3月起生效,其规定最为严格:禁止阻碍或使人类监督和控制AI的机制失效,这意味着因过度依赖而任由判断力衰退,本身也可能违法。

现在,请注意缺乏规则时的对比。

澳大利亚目前拒绝为私营部门颁布独立的AI法律,新西兰也采取了类似的轻监管路径。这为风险方面提供了一项自然实验。在新加坡、越南、韩国和马来西亚,监管不力正日益成为法律与处罚风险,包括制裁、牌照吊销,以及对具名负责人员的个人责任追究。

在澳大利亚和新西兰,缺乏此类措施意味着存在声誉风险。在许多企业中,法律风险设有专门的预算项目、董事会议程议题以及具名并经培训的人员,而声誉风险往往只是被指定一份政策文件和一份善后计划。前者促使企业投资于人类判断,后者则只会在问题出现时才去应对。

论坛如何帮助领导者理解AI并协作推进负责任的创新

AI卓越中心连接各行业的领导者,共同理解人工智能的快速演进及其对经济和社会的影响。它支持就AI应用所涉及的机遇、风险和权衡进行知情对话。

中心通过可信赖的空间和协作倡议,使合作伙伴能够建立共同理解,并共同推进负责任的AI创新与应用方式。

了解中心的工作

认知主权与AI治理

那么,这些法律究竟要求承担“在环中”职责的个人做什么?负责任的人必须发现偏离常规模式的案例,质疑一个看似自信的输出,并同时兼顾客户利益、企业风险敞口和监管意图。此后,他们还需在不确定的情况下作出决定。

这就是认知主权:能够超脱于机器之外,并运用多年经验所形成的高阶情境判断力。它正迅速成为组织中昂贵的脑力资源。

在一项真实世界研究中,逾32,000次扫描,放射科医生在约2%的病例中推翻了一款获FDA批准的AI工具的判断;而在双方存在分歧时,人类的判断十次中有近九次是正确的。若仅依靠模型,数百例已确诊的血栓可能会被漏诊。其价值不在于日常的一致,而在于人类发现的那些罕见而棘手的个案。

人们熟悉的关于衰老大脑的说法在这里恰恰弄反了。AI治理所需的判断力会随经验而提升,而非衰退。

2026年一项纵向研究发表于《Scientific Reports》,追踪了近4,000名成年人,发现在任何年龄段,大脑健康的改善都没有已知上限。2025年发表于《Intelligence》的一项分析发现,支撑高风险决策的整体功能往往在55至60岁之间达到峰值,而最适合此类角色的人,很少年龄低于40岁或高于65岁。Sandra Bond Chapman博士任职于Center for BrainHealth,她将整合推理(即把既往模式与新问题相联系)称为我们的“白金”认知功能,其在55至65岁之间常常表现出色。我曾就这一成人大脑发展轨迹进行过更详细的阐述。

这些都不是自动实现的。年龄本身不会带来任何能力。这些能力在有意识地训练时才会增长,而在长期超负荷、睡眠不足,以及反复受到“因答案表述精美而放行”这一诱惑时,则可能衰退。

最后这一诱惑有个名字。研究人员称之为自动化偏见,数十年的研究表明,它对专家和新手的影响相当:一项综述发现,错误的机器建议使人类做出错误决策的比例上升了约四分之一。原因何在?

AI精致的输出可能产生一种强烈的正确感,以至于大脑只看到“停止”信号,而高阶思维从未启动。资历并不能提供庇护。事实上,最容易受影响的可能恰恰是经验丰富的高管:所有这些经验会提供额外信号,使一切看起来都正确,因此一个自信的输出可能会阻止来之不易的智慧转化为主动判断。

为何AI治理并非技术问题

这就是为何将AI治理视为技术问题可能是代价高昂的错误。

组织往往在更好的模型上投入巨资,却对负责治理这些模型的人员投入不足。最优秀的员工可能是经验丰富的专业人士,却被贴上“过气”的标签,并被推向门外。我们可能购买了系统,却让监督工作陷入资源匮乏。

Diana这一年看似平常。没有醒目的晋升,但她已调任到一个机构离了她就无法运转的岗位。她不是银行会替换掉的人,相反,她是银行绝不能失去的人。

董事会不能再仅仅询问是否有人在环中并勾选这一项。他们必须评估该人员能否以认知主权行事,在关键时刻超越系统进行思考,以及是否有人在投资,使她能够做到这一点。

你无法治理自己所依赖的东西。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。