新一代自主人工智能系统,包括无人机、自动驾驶汽车和人形机器人,能够感知世界、做出决策并付诸行动。
这正在消解软件风险与物理风险之间、网络安全与物理安全之间的传统边界。
网络安全与物理自主人工智能领域正在融合,因此为这项技术建立正确的治理基础至关重要。
在人工智能发展的大部分历史中,它一直栖居于屏幕之内。它进行推荐、预测、翻译和内容生成。其错误虽代价高昂,有时甚至十分严重,但主要仍局限于数字领域。
如今,这一状况正在发生改变。
新一代系统正在将人工智能带入物理世界。它们不仅能处理信息,还能感知、决策并在现实世界中采取行动。
人形机器人、自动驾驶汽车和无人机是当前正从试点迈向部署的三个典型案例。随着这一进程的推进,曾经看似清晰的界限,包括软件风险与物理风险之间、网络安全与物理安全之间的界限,正在逐渐消融。
对于物理自主人工智能而言,决定性的转变在于感知、决策与执行的融合。其中,“执行”是指将人工智能模型的数字决策或信号转化为物理或数字动作的过程,这使得自主性具有社会价值。但这也意味着,错误、攻击或目标定义不明确等问题,可能在人类来得及察觉、理解并干预之前,就已蔓延至物理世界。
因此,随着网络安全与物理自主人工智能领域趋于融合,是时候为治理这一代新系统构建正确的基础了。
具身人工智能:人形机器人的应用
人形机器人已不再是科幻小说中的情节。能够在非结构化环境中执行物理任务(如拾取、组装、搬运、导航)的系统,正进入物流仓库、工厂车间,并在早期试点中应用于护理场景。
在宝马集团斯帕坦堡工厂,Figure 02人形机器人已在真实的生产环境中接受测试,执行涉及钣金部件的体力密集型作业。当具身人工智能以这种方式从演示阶段过渡到运营阶段时,其价值不仅取决于智能水平,更取决于自主系统能否在物理工作环境中安全、可靠且可问责地行动。
然而,随着人形机器人能力的提升,其影响也随之增大。一台能够抬起病人或操作机械的机器人,会带来超越软件漏洞或缺陷的新型安全风险。
在人形机器人从受控环境扩展到更广泛应用之前,政府和企业需要建立更清晰的测试、认证和问责框架。
自动驾驶汽车:真实部署,新型依赖
自动驾驶道路运输是这一代新型人工智能系统中商业化程度最高的。多座城市已开通无人驾驶网约车服务,自动驾驶卡车也在部分高速公路上进行测试。其潜在的短期价值包括特定路线类型的安全记录改善、长途货运成本降低以及运营时间的延长。
Waymo是该领域从试验向商业化服务过渡的典型案例。其无人驾驶网约车业务已从早期与Uber在凤凰城和旧金山的合作,扩展至美国多个城市。
但规模化部署带来了此前不存在的依赖关系。自动驾驶车辆依赖于持续的网络连接、高精度地图、远程监控基础设施以及空中软件更新,每一项环节均可能成为故障或干扰的潜在源头。在自动驾驶车辆与人类驾驶车辆共享道路的混合交通环境中,协调风险也仍未被充分理解。
具备韧性且安全的人工智能基础设施对于应对此类情况至关重要。
无人机:快速扩张,监管滞后
无人驾驶航空系统,即无人机,已在快递、农业、检测和应急服务等领域大规模投入运营。在冲突地区和边境地带,军用及商用无人机已表明,曾经受到严格监管的空域,如今正向包括非国家行为体在内的更广泛参与者开放。
民用领域也有积极案例。在卢旺达,利用无人机配送血液制品不仅缩短了相较于公路运输的预计配送时间,还减少了医疗机构中血液制品的过期浪费。
无人机领域的治理挑战十分严峻。现有的空域管理框架并非为大量自主飞行器同时运行而设计。此外,那些使精准农业成为可能的技术,同样可能被用于监视或实施定向破坏。对无人机系统的干扰、欺骗和劫持,已从理论上的担忧演变为有据可查的事件。
安全与保障已不再是相互独立的概念
这三个应用案例的发展速度各不相同,涉及不同的行业、监管机构和风险特征。但它们提出了一系列共同的问题,无论是网络安全领域还是自主人工智能系统领域,都无法单独解答。
一旦人工智能系统能够在物理世界中行动,网络攻击就可能直接转化为物理伤害,例如车辆遭入侵、无人机被操控,或是机器人超出安全区域运行。
安全与保障必须嵌入自主人工智能系统的设计、标准、采购及治理之中。
规模化部署自主人工智能前应思考哪些问题
企业领导者首先要思考的问题是:自主性的边界是否已被明确界定?对于自主物理系统而言,安全性不仅意味着组件按设计正常运行,还意味着要明确系统不被设计用于在哪些场景下运行。
其次,当系统变得更加自主时,人类责任落在何处?在物理人工智能领域,仅说人类仍“处于责任回路中”是不够的。领导者需要追问,当自主系统达到极限时,该人类是否具备干预所需的时间、信息、权限和技能。
第三,在对抗性条件下,安全保障的依据是什么?安全保障不仅必须基于正常运行情况,还必须涵盖当自主人工智能系统遭受攻击、陷入混乱或失去连接时,其如何恢复运行以及上报情况。
解答这些问题将有助于领导者制定切实可行的治理准则,以推动自主人工智能的规模化应用。
当下该怎么做
这些技术所能带来的价值是切实的,而推动其部署的竞争压力也不会消失。相关准备工作必须跟上部署的步伐。
对于政府而言,这意味着需要更新那些原有监管框架。现有框架是基于“车辆由驾驶员操控、空域内自主飞行器数量有限、物理系统未联网”的前提设计的。
对于企业而言,这意味着将网络安全视为任何能在物理世界中运作的系统的核心工程要求,而非最后附加的合规层。
对于国际机构而言,这意味着要在目前各自为政的安全监管机构、网络安全主管部门和标准制定机构之间建立联系纽带。
自主人工智能系统已经进入物理世界。在这些系统深度融入关键基础设施和日常生活之前,我们必须做好周全准备。
本文作者:
Vanessa Evers,荷兰国家数学与计算机科学研究中心主任
Öykü Işık,亚利桑那州立大学全球数字化转型助理教授
本文原载于世界经济论坛Agenda博客,转载请注明来源并附上本文链接。





