欧盟《人工智能法》等人工智能治理框架，都以“人类始终掌控”为前提。
但人类监督人工智能系统所需的能力，是通过实践保持的，而如今这些实践正由人工智能代为完成。
保护这一人类主体，以及其技能、实践和判断力，将愈发成为善治人工智能的必要条件。
所有人工智能（AI）治理框架都建立在同一个令人安心的前提之上：人类始终掌控。欧盟的《人工智能法》要求对高风险系统实施人工监督；其《通用数据保护条例》（GDPR）限制完全由机器作出的决定；企业的人工智能政策承诺，在输出结果送达客户之前，由人员进行审核。这些规定传递的信息是一致的：人工智能不会自行作出任何决定。
但这一前提掩盖了一个很少被明说的问题，而且从系统部署的第一天起它就已存在。人类监督人工智能系统所需的能力并非固定资产，而是通过实践来建立并维持的——而这恰恰是人工智能系统正在替人类完成的实践。
系统能力越强，我们交给它的工作就越多，监督者能够运用监督职能所依赖的判断力的机会也就越少。人类监督并非只是作为一道保障而静止存在，它会随着所要控制的系统一同悄然贬值，任务一项接一项地流失。我们将此称为监督悖论。
令人不安的推论是，表现更优的人工智能可能使监督变弱，而非变强。随着系统承担越来越多的认知工作，审核它的人对这些工作的第一手掌握就越少，因此越难察觉系统出错的时刻。能力与监督风险同步上升。这并非对某个未来、更先进人工智能的担忧，而是描述了当下监督所面临的现实处境。
监督悖论并非假设
这一转变的速度，使问题变得迫切。在GPQA基准测试中——涵盖物理、化学和生物学的博士级问题——人类博士专家的正确率约为65%。该基准于2023年末发布时，表现最强的GPT-4基线模型仅达到39%。到2026年，领先模型的得分约为94%。这一比较并非完全严谨，但整体态势清晰可见：机器已从远低于专家水平，跃升至远高于专家水平。
软件工程领域也呈现出相同的曲线。在SWE-bench上——该基准要求模型修复开源代码中的真实问题——2023年发布时表现最佳的系统解决的问题不足5%。而在经人工验证的SWE-bench Verified数据集上，目前领先的系统已能解决超过90%的问题。
计算器用了一代人的时间才使心算能力退化。人工智能重塑专家表现的时间尺度则以月计——而这种压缩正是监督问题的全部症结所在。系统越快超越负责监督它的人，这些人对任务的亲身熟悉程度就越快被抛在身后。每一次能力跃升都在悄然抬高监督者必须达到的门槛，同时剥夺了使其达到门槛所需的实践机会。
这一现象并不局限于实验室。Anthropic的经济指数显示，人工智能的使用集中于中高薪知识型工作——如软件开发、技术写作及类似的专业任务——而非劳动力市场中收入最低或最高的群体。Anthropic谨慎地表示，并不主张会随之出现大规模去技能化；其明确拒绝预测该结果。但其暴露的信号意义明显：受人工智能影响最深的任务，恰恰是有赖于有效监督的、需要大量专业判断的任务。
侵蚀人工智能监督能力
三股截然不同的力量正在发挥作用，且彼此叠加、相互强化。
心理层面的力量：自动化偏见
当自动化系统通常是正确的时，人们往往倾向于信任它。经典的飞行模拟器研究发现，即便是专业飞行员，也会对系统遗漏的问题不予处理，或在未经交叉核对的情况下遵循错误的提示。在本可通过核查信息发现错误的情境中，记录到的错误率约为55%。同样的惯性也延伸至知识型工作。一名放射科医生，若其人工智能以极高准确率标示异常，那么在看过第一百张影像之后，便会从评估影像逐渐滑向确认机器的结论。欧盟《人工智能法》第14条对此作出了直接回应，要求监督者对自动化偏见保持警觉。
结构层面的力量：去技能化循环
系统执行任务，人类则转入质量保证角色。但质量保证需要专业知识，专业知识通过实践获得，而实践恰恰是系统已经接管的部分。试想一名律师，两年间审核的是人工智能起草的合同，而非亲自撰写。他们会在何时失去对战略性遗漏的敏锐感，或失去那种只有亲自起草过数百份合同才能获得的判断力？每一轮职能让渡，都会使下一轮监督变得更加单薄。
法律层面的力量：形式监督与有效监督之别
GDPR第22条限制仅基于自动化处理作出、且对个人产生重大影响的决定。不过，监管机构已明确指出，控制者不能以象征性的人工复核来规避该规则：人工参与必须是有实质意义的，且由有权推翻决定并掌握全部相关数据分析所需知识的人员实施。一旦这种能力已被侵蚀，剩下的便只是合规的表演。
欧盟《人工智能法》试图通过以下方式弥补这一缺口：第4条要求具备人工智能素养，以及第14条要求对高风险系统实施有效监督。然而，两者在很大程度上都假定人类能力与机器能力之间保持稳定的关系。监管可以保障干预的可能性，却无法保证实施干预的人员仍能判断干预是否合理。
迈向可自我维持的监督
这一悖论也延伸至民主治理领域。人工智能系统在公共行政中的应用日益广泛，但负责治理这些系统的民选机构却面临一道“翻译鸿沟”：这些系统的技术现实，难以被转化为民主审议所用的语言。
在欧盟层面，人工智能办公室的大部分专业知识必须依赖其所监管的机构提供——这并非出于任何阴谋，而是源于该领域内固有的能力不对称。
监督悖论并非反对采用人工智能的论点，而是反对认为人类监督能够自我维持的论点。以下三个方向值得认真对待。
人在回路规则应注重实质而非形式。监督条款应要求已证明具备推翻系统决定的能力，而不仅仅是形式上配备一名复核人员。
有意识地维持能力。正如飞行员必须定期在没有自动驾驶的情况下飞行，身处人工智能增强型岗位的知识工作者也需要在没有系统辅助的情况下进行有组织的实践——这应被视为一项制度性要求，而非个人的良好意愿。
民主机构中的桥梁型人才。这类人才既要理解模型的实际运作方式，又能将其转化为公共问责所用的范畴。目前这类人才严重不足，培养更多此类人才是一项亟待推进的治理优先事项。
每个组织、监管机构和立法机构都应思考的问题，不是是否有人类处于回路之中，而是这个人在没有人工智能的情况下，是否仍能胜任这项工作——以及这种能力是否正在被积极地保持下去。
就当下而言，在许多情况下，诚实的答案是否定的。当监督者已无法独立完成工作时，监督便不再是一道保障，而沦为一个签字。最终漏过的错误，只能由仍然足够了解情况、能够识别它的人来发现。保护这一人类主体——其技能、实践与判断力——正在成为善治人工智能的全部所在。
