世界模型如何帮助人工智能在物理世界中导航

World models represent how environments change and predict how actions may affect them.
World models use observations such as video, images and sensor readings to predict how the environment may respond when an action is taken.Image: Getty Images/iStockphoto
本内容由人工智能自动翻译。
  • 世界模型帮助人工智能预测环境会如何因某一行动而改变,使其能够在物理世界中采取行动之前比较各种选项。

  • 随着研究人员将目光从以语言为中心的人工智能转向能够追踪空间、时间和不断变化的物理状态的系统,人们的关注度正在加速上升。

  • 但逼真的模拟并不总是可靠的,模型、规划器和部署后的系统都必须分别经过现实世界结果的检验。

设想一台仓库机器人伸手去拿一个从未见过的包裹。在移动之前,它会利用其对周围环境的习得模型,比较几种可能的行动。

研究人员和投资者押注,这种在行动之前预测可能发生什么的能力,可以使人工智能(AI)系统更有能力在工厂、车辆和基础设施中运行。

此类系统被称为世界模型——即表示环境如何变化,并预测行动可能如何影响环境的模型。

什么是世界模型?

目前尚无定论。近期,上海人工智能实验室发布的一份路线图将世界模型描述为对环境及其状态如何随时间变化的内部表示。它从视频、图像和传感器读数等观测数据,以及将行动与结果相关联的数据中学习,然后预测环境可能如何对某一行动作出响应。

世界模型试图回答一个实际问题:如果智能体采取某一行动,接下来最可能发生什么?它会生成可能的结果,而在许多系统中,由一个独立的规划器在选择行动之前对这些结果进行比较。一种由李飞飞与World Labs提出的分类法区分了渲染器、模拟器和规划器:分别对应世界看起来是什么样子、世界如何运作,以及智能体应当做什么。

准确的预测并不一定能证明因果理解。模型可能学到了一些模式,而当周围条件发生变化时,这些模式就会失效。

为何此时势头正在形成?

这一想法并不新鲜。2018年的《World Models》论文,以及DeepMind的MuZero和DreamerV3展示了智能体如何通过建模的未来进行学习或规划。

当前的推动反映出以语言为中心的人工智能存在的一个缺口。语言模型能够跨越对现实的各种描述进行推理,但大多数模型并非主要基于将物理行动与其后果相关联的数据进行训练。

世界模型旨在追踪空间、时间、不断变化的状态以及干预措施。世界经济论坛的《2026年十大新兴技术》报告指出,需要更丰富的物理世界数据、更大规模的模型,以及能够预测压缩表示而非每一处视觉细节的架构。

每年都有一些科学进步发展到足以改变世界的地步。
每年都有一些科学进步发展到足以改变世界的地步。
00:40

物理人工智能还依赖于能够显示行动如何影响真实环境的数据。这些记录通常来自机器人、车辆、远程操作系统及其他物理作业,而非公开可用的网络内容。斯坦福大学以人为本人工智能研究所(Stanford HAI)警告称,此类数据的稀缺可能使控制权集中在拥有大规模运营车队或同类交互数据来源的机构手中。

当前的研究与投资主要沿三个大方向推进:改进物理预测、生成交互式模拟,以及开发以语言模型为中心的扩展方式之外的替代路径。

Meta的V-JEPA 2将预测性表示应用于机器人规划,而Google DeepMind的Genie 3则可生成交互式环境。Yann LeCun的AMI Labs已融资10.3亿美元,以推进一种以世界模型、推理和规划为核心的路径。Dealroom估计,该领域的公司在2026年迄今已融资32亿美元。这些资金显示了人们的信心,但并不能证明通用世界模型已经到来。

AMI Labs表示,其目标是以世界模型为核心的通用智能系统。在近期,世界模型可能与语言模型协同工作,将语义推理与空间、状态和行动的模型结合起来。

这一概念也开始延伸至物理环境之外。关于社会世界模型的近期研究探讨人工智能能否表示信念、意图和互动,从而预测社会动态;与此同时,相关的社会模拟工具也开始进入商业应用。然而,对复杂的现实社会行为进行可靠预测,仍是一项有待解决的挑战。

世界模型可以率先在哪些领域创造价值?

机器人领域提供了迄今为止最清晰的已发表基准证据之一。现实世界中的训练速度慢、成本高,有时还十分危险。Meta报告称,V-JEPA 2在涉及新物体和新环境的特定抓取放置任务中取得了65%–80%的成功率。这些仍然是有限范围内的实验室结果。

自动驾驶为测试世界模型模拟提供了规模更大的场景。Waymo表示,其世界模型能够为罕见事件和改道路线生成可控的摄像头与激光雷达模拟。与主要依靠人工指定环境构建的模拟器相比,习得模型可能使场景更容易生成和变化。其价值最终将取决于模拟中展示的改进能否可靠地转化为真实道路上的表现。

基础设施和工业运营仍更具推测性。论坛的《十大新兴技术》报告通过一个假设性港口说明了其潜力:该港口利用运营数据和天气数据,在工作人员批准装载计划之前对其进行压力测试。类似系统最终可帮助决策者探讨交通、能源及其他互联基础设施的变化如何相互影响。然而,就目前而言,这些情景说明的是可能的用途,而非已确立的部署。

近期的商业理据在于降低试验的成本与风险。随着新的运营数据不断产生,习得的世界模型可使模拟环境更易于生成、变化和更新。团队可以在投入资本或使人员和设备面临风险之前,先排除部分选项。

还有一个治理问题:当同一供应商既提供自主系统,又提供用于验证该系统的模拟环境时,便会产生此类问题。客户和监管机构可能难以区分真正的稳健性与供应商所选条件下的表现。除非审查人员能够理解可用的选项、及时介入并在必要时推翻系统的决定,否则人工监督并不能完全解决这一问题。

世界模型的可靠性缺口

模拟误差并不总是显而易见的。斯坦福HAI将一种“视觉合理性陷阱”描述为:环境看似连贯,却错误地表现了重要的物理属性。

一个模拟机器人可能看似成功地操控了某个物体,尽管其质量、摩擦力或刚度的建模并不准确。该动作在屏幕上可能显得可信,但在物理世界中却可能失败。同样的问题也会削弱评估的有效性:当习得的环境既用于训练又用于测试时,系统可能会适应模拟器的假设,从而获得高分,却在现实世界条件下仍然不安全。

当前的系统在范围和持续时间上仍然有限。DeepMind表示,Genie 3仅支持有限范围的行动,且只能支持几分钟的连续交互。这些限制制约了其当前在长时程规划和广泛安全测试中的实用性。

因此,评估需要覆盖完整的链条:模型是否做出了准确的预测,规划器是否选择了恰当的行动,以及完整系统在现实世界中是否能够安全运行。

这需要将结果与现实世界的结果进行比较,在边缘情况下进行测试,开展部署后监测,并获得独立的性能证据。对于安全关键型应用而言,模拟中的表现应被视为初步证据,而非现实世界可靠性的证明。

并非每一项人工智能应用都需要世界模型。预测工具、优化系统、连接可靠数据的语言模型以及传统模拟器,可以更低成本地解决许多问题。

当行动会实质性地改变未来状况、现实世界试验成本高昂或存在危险、结果可以通过独立证据进行核验,且仍保有安全的备用方案时,组织应考虑使用世界模型。若不具备这些条件,传统模拟、预测或优化可能提供更经济、更可靠的解决方案。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。