第四次工业革命

当AI拥有身体,如何为它加上安全锁?

物理AI需要明确的安全保障措施。 Image: Getty Images/iStockphoto

Kary Bheemaiah
Vice-President and Chief Technology Innovation Officer, Capgemini Invent
Ann Cleaveland
Executive Director, Center for Long-Term Cybersecurity, UC Berkeley
本文章是 网络安全中心前沿科技与创新中心 的一部分
  • 物理AI产品正涌入市场,然而网络安全漏洞依然层出不穷。
  • 物理设备中AI智能体的安全规程,目前仍游离于AI安全研究、传统网络安全与机器人工程三大领域之间。
  • 物理AI价值链相关方可立即采取三项行动,着手弥合这一安全鸿沟。

在英国剑桥的凯捷实验室中,一台近期采购的行业领先人形机器人,底盘敞开,静置于工作台上。团队已对其进行了为期一周的拆解研究。他们发现了一台无法检测的主板载计算机、多条与机器人原产国服务器之间的持久连接、一套将音频传输至闭源软件的麦克风阵列,以及一个携带命令注入漏洞的蓝牙协议栈(该漏洞已公开收录),意味着任何攻击者均可查阅并加以利用。团队拥有这台机器人,却无法掌握其运行实况。

为使其获得一种即使在受控实验室环境中也足够安全的安全态势,团队不得不安装独立的处理平台,物理断开麦克风连接,更换摄像头,搭建自包含网络——以一台运行开源软件的便携式路由器为核心,并编写防火墙规则,阻断每一次“回传”通信。

这并非一项新的配置方案,而是对一台以“即插即用”形式售出的具身化代理型人工智能设备所进行的重建式手术。这便是物理AI领域的安全态势鸿沟——而大多数购买者甚至对此毫不知情。

安全漏洞的数据与现实

上述场景,从许多方面来看,对于网络安全专业人士而言并不陌生——这是几十年来联网物联网设备所面临安全挑战的最新版本。但物理AI的复杂性更高,其后果也随之放大。Signal Foundation主席Meredith Whittaker在近期关于AI代理的讨论中,提出了一个发人深省的观点:如果一个代理在每一步的准确率为95%,而执行一项包含30个步骤的任务,其完全成功的概率为0.95的30次方,约为21%

卡内基梅隆大学(CMU)的Agent Company基准测试在现实的多步骤办公任务中同样呈现了这一模式:能够妥善处理每一个步骤的模型,在步骤累积后仍会在完整任务中失败。当基于文本的代理中途出现偏差时,最坏的结果不过是浪费一些可被察觉并重做的工作。但在物理AI中,同样的误差累积将导致机器人误读、掉落、碰撞,甚至危及人类安全

将这些代理模式叠加到ROS2(大多数现代机器人所使用的软件框架)之上,误差累积将进一步加剧。Alias Robotics已记录到约15个存在于通信层中的危险漏洞,该通信层负责机器人各部件之间指令与状态更新的交换;这一影响波及约650种设备,涵盖工业机器人、医院系统及军事平台。维护安全行业标准攻击方法目录的MITRE,目前已将AI代理在联网系统间的横向移动列为主要攻击技术之一。六个独立的安全框架已分别得出相同结论:AI代理扩展了系统可能被攻击的全部路径,而非仅增加边际风险。

AI安全、网络安全与机器人工程的交汇

代理型红队测试,是指以安全团队攻防演练的方式对AI代理进行探查——持续对抗,先于攻击者发现漏洞。这一术语问世不过两年,即便在文本代理领域,相关规范也远未成熟。若将其应用于机器人、自动驾驶车队或其他物理AI系统,则基本仍是一片空白。

三个领域各自掌握解决方案的一角,却无一拥有全貌。AI安全研究者关注系统能做什么、是否按设计者意图行事;网络安全领域担忧的是网络与数据;机器人工程则围绕运动学与可靠性展开。

一个能够感知环境、解读指令并驱动机器人臂在仓库中作业的单一AI模型,正处于这三者的交汇点——而在多数组织中,没有任何一个团队能够独立覆盖这一重叠地带。

物理AI的五个攻击层面

任何可用于物理AI红队测试的可行框架,都始于一张关于攻击落点的共享地图。物理AI价值链贯穿以下五个层面:

  • 首先是传感器层。GPS、激光雷达、摄像头与麦克风可在不触及模型本身的情况下被欺骗。
  • 其次是模型本身。对抗性补丁和隐藏后门均可轻易攻破视觉-语言-动作系统——这些后门在正常运行时毫无踪迹,系统看似一切正常,直到隐藏行为被触发。
  • 第三层是通信层——即驱动大多数现代机器人的中间件,ROS2的漏洞便藏身于此(例如机器人的传感器、电机与控制系统之间在信息交换过程中存在的安全弱点)。
  • 第四层是供应链——硬件木马、投毒训练数据与不透明的板载计算机均潜伏于此。
  • 第五层也是最顶层的指令层——理论上,一段嵌入会议记录中的提示词注入,即可转化为电机指令。

每一层都有不同的防御学科与不同的从业群体。目前,它们之间没有任何结构化或系统性的沟通。其结果是,安全风险被不成比例地转嫁给了终端用户。这正是物理AI正式红队测试实践必须解决的首要问题。

人类操作员的脆弱性

这是一个很少被讨论的脆弱环节。当今在用的物理AI,大部分依赖远程辅助操作员,即那些在远程操作中心值守、在出现异常时介入干预的人员。

以自动驾驶汽车行业为例。美国国家运输安全委员会(NTSB)的一项最新调查发现,一辆Waymo车辆在远程操作员的错误指引下,越过了一辆已伸出停车标志的停靠校车。这在全美各州均属违法行为。公众普遍认为自动驾驶汽车会否决人类的不安全指令,然而在那起事件中,并没有发生这种否决。

2026年2月,美国参议员Ed Markey就这一现象展开调查。所有自动驾驶汽车公司均拒绝披露其车辆需要远程人工介入的频率。Waymo是唯一承认其相当一部分远程操作员位于菲律宾,且并非所有操作员都持有美国驾照的公司。特斯拉则承认其远程操作员可在最高时速10英里(约16公里/小时)的速度下远程操控车辆,但拒绝透露具体干预频率。

现在,将同样的模式套用于安保机器人、仓库自主移动机器人(AMR),以及当前面向企业市场销售的人形机器人。一台通过远程操控观察环境并采取行动的机器人,正是在履行其设计职能。危险在于,还有谁能触及这一能力。当“机器人”实际上是一个通过摄像头从另一片大陆进行观察的人,而该人员的连接不够安全或其工作站已被入侵时,实时摄像头画面和操控权限便瞬间落入闯入者手中。这相当于将机器变成了一个远程监控与操控工具,对准其周边的一切。这并非边缘案例,而是当前大量以“物理AI”为标签出货产品的默认运行模式。

保障物理AI安全的三项最佳实践

物理AI的到来已不可避免,资本已然就位,战略压力真实存在。安全态势需以系统性、跨学科的方式同步构建。终端用户可采取三项行动,为所采购或试点的物理AI项目释放明确的安全需求信号:

  • 在任何新机器人进入敏感环境之前,要求供应商提供可审计的板载计算机、完整的对外连接清单,以及可由中立第三方重复执行的全面硬件与软件检查。
  • 将远程操作员层视作受监管的控制节点,如同系统中其他安全关键部件一样进行管理:包括操作员身份、所在地点、持有权限以及其工作站的防护水平。
  • 将美国国家标准与技术研究院(NIST)目前正通过其AI代理标准倡议所定义的原则,包括执行隔离、最小权限与可审计性,从软件代理延伸至其所控制的机器人。

NIST于2026年2月正式启动该倡议,并发布了关于代理系统安全的正式信息征集。Anthropic和OpenID基金会已提交反馈。然而,这些工作目前均未涵盖具身系统:不包含机器人、自动驾驶汽车,也不包含物理AI。这一缺口不会自行弥合,必须有人推动前进。

物理AI为我们提供了一个窗口期,使安全建设与技术发展得以并行推进。这需要各方协力,从制造硬件的原始设备制造商,到安装与连接系统的系统集成商,直至终端用户与标准制定机构。这将彻底打破该行业数十年来“先上线、后补漏”的安全惯性。

未来可以想象这样一个世界:家庭、工厂、医院、道路和空域中的机器人,是值得信赖的助手,而非随时可能爆发的安全与隐私灾难。

本文作者:

Kary Bheemaiah,凯捷咨询创新事业部副总裁兼首席技术创新官

Ann Cleaveland,加州大学伯克利分校长期网络安全中心执行董事

本文原载于世界经济论坛Agenda博客,转载请注明来源并附上本文链接。

不要错过关于此主题的更新

创建一个免费账户,在您的个性化内容合集中查看我们的最新出版物和分析。

免费注册

许可和重新发布

世界经济论坛的文章可依照知识共享 署名-非商业性-非衍生品 4.0 国际公共许可协议 , 并根据我们的使用条款重新发布。

世界经济论坛是一个独立且中立的平台,以上内容仅代表作者个人观点。

实时追踪:

生成式人工智能

相关话题:
第四次工业革命
网络安全
人工智能
分享:
全局信息
探索和追踪解决之道 网络安全 正在影响经济、产业和全球问题
World Economic Forum logo

每周 议程

每周为您呈现推动全球议程的紧要问题(英文)

立即订阅

更多关于 第四次工业革命
查看全部

2026年十大新兴技术释放的三大变革信号

George Thomas and Akshay Joshi

2026年7月21日

互联网正迎来转折点,三大动向正在重塑其格局

关于我们

加入我们

  • 登录
  • 成为我们的合作伙伴
  • 成为我们的会员
  • 订阅我们的新闻稿
  • 联系我们

快捷链接

语言版本

隐私政策和服务条款

站点地图

© 2026 世界经济论坛