人工智能与下一个创新前沿:为何信任将决定这一规模达20万亿美元的机遇

undefined
本内容由人工智能自动翻译。
  • 一个新的风险前沿正在迅速浮现,其根源在于机器对人类语言的含义与语境的理解十分脆弱。

  • 应对这一新的威胁格局,应从一个简单却具有变革性的原则入手:零信任。不信任任何事物,核验一切。

  • 这与2026年达沃斯论坛的核心主题相契合:实现人工智能的经济潜力,有赖于负责任的部署与可验证的信任。

人工智能正以前所未有的速度重塑各行各业的运作、竞争与价值创造方式。

据预测,到2030年,它将为全球GDP新增近20万亿美元,使其成为本世纪最强大的经济力量之一。然而,随着人工智能在商业运营中日益深入地嵌入,一个新的风险前沿正在迅速浮现,其根源在于机器对人类语言的含义与语境的理解十分脆弱。

生成式人工智能和大型语言模型(LLM)正进入各行业关键工作流程的核心。金融机构利用它们分析市场并预判波动。制造商则将其整合进来,以统筹复杂的供应链。医疗机构运用它们对信息进行分级处理,并加速研究进程。

但随着对生成式人工智能系统的依赖加速增长,一类新的威胁也随之加速出现。这类威胁利用的是通信而非代码。它们针对的是人工智能的理解过程,而非其执行方式。而且,其出现速度远超大多数组织的侦测与防御准备能力。

大型语言模型与新兴威胁格局

网络安全传统上侧重于加固基础设施:锁定网络、修补漏洞并实施身份控制。但如今的威胁格局正转向更为隐蔽、甚至更难察觉的形式。网络犯罪分子已无需利用软件缺陷或入侵网络即可造成危害。他们可以操纵人工智能系统解读语言的方式,将语义转化为攻击面。

恶意指令可以隐匿于众目睽睽之下,藏身于公开数据、训练材料、客户输入或开源文档之中。这些操纵手段可以改变模型的推理方向、扭曲其输出结果,或损害其向决策者提供的洞见。由于此类攻击以自然语言的形式发生,传统安全工具很少能够识别它们。模型在源头即已被投毒,而在人们意识到问题之前,损害早已造成。对于缺乏充分准备与防护的组织而言,这构成了一项严重且往往不易察觉的风险。

这并非假设性的威胁。随着越来越多的组织采用自主及半自主人工智能系统,对手以语言层为目标的动机只会持续增强。攻击者的进入成本很低,而潜在损害却十分巨大。

无声的内部威胁

当人工智能模型遭到入侵时,它的行为便如同内部威胁。它可能悄无声息地泄露知识产权,篡改战略建议,或生成有利于第三方的输出。其挑战在于其隐蔽性:它在行动时不会发出任何警报。系统依然能够回答问题、总结文件、处理数据并协助员工。它只是以一种微妙偏离的方式完成所有这些工作。

我们目前看到的是企业风险的转变:从保护数据转向保护知识。对于安全领导者而言,关键问题不再仅仅是访问权限,而是其模型吸收了哪些内容,以及这些内容来自何处。

治理缺口

尽管威胁的规模巨大,许多组织仍然关注的是谁在使用人工智能,而非其人工智能系统摄取了什么内容。随着人工智能应用加速推进、自主性不断提升,这一缺口正日益扩大。构建可信赖且具有韧性的人工智能生态系统,要求企业核验每一份为其模型提供输入的数据集、指令及内容来源的完整性与真实性。

这与正在形成的一个核心主题密切相关,即2026年达沃斯论坛:实现人工智能的广阔经济潜力,有赖于负责任的部署与可验证的信任。人工智能不能继续作为一个黑箱存在,它也不能被动地消耗不受控制的数据。能够带来最大经济与社会价值的系统,将是以可追溯性、透明度和问责制为核心进行设计的系统。

在人工智能核心构建信任

应对这一新的威胁格局,应从一个简单却具有变革性的原则入手:零信任。不信任任何事物,持续核验一切。

尽管零信任并非新的安全概念,但其范围必须超越访问控制,并涵盖用于训练和指导人工智能系统的数据与指令。这要求持续监测模型的演变过程,追溯其知识的来源,并在整个人工智能生命周期中落实问责机制。人工智能素养、数据溯源与数字信任如今必须与ESG及网络安全并列,成为董事会层面的优先事项,因为企业智能的完整性日益依赖于这些要素。

全球对这些风险的认识正在不断提高。经合组织人工智能风险与安全框架于2025年发布,与之类似的国际倡议均承认,数据操纵和人工智能滥用是需要共同标准与监督的关键领域。对于企业而言,使治理与这些框架保持一致,可以增强运营韧性,并巩固公众信心。

论坛如何帮助领导者理解网络风险并增强数字韧性

网络安全中心提供了一个值得信赖的平台,领导者可以在此齐聚一堂,厘清不断演变的网络风险及其系统性影响。该中心致力于在日益互联的数字世界中建立理解与信任。

通过推动跨行业协作与洞见分享,该中心帮助合作伙伴增强网络韧性,并应对需要集体应对的挑战。

了解该中心的工作

通过保障人工智能所理解的语言来保障人工智能安全

要充分实现人工智能的潜力,网络安全领导者必须接受这样一种理念:安全的智能即可持续的智能。网络安全的下一个时代,将不再以保护系统来定义,而是以保护语义来定义。机器如何推理、解读与交流,其完整性正日益成为一项战略资产。

保障人工智能安全,意味着保障其所依赖的语言本身。信任将决定创新的下一个前沿。率先引领这一领域的组织与国家,将把信任既视为竞争优势,也视为全球共同责任。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。