守护数字思维:AI智能体的新兴挑战

undefined
本内容由人工智能自动翻译。

本文稿由语音识别软件生成,可能存在错误。请对照音频核实其准确性。

Grant Waterfall:早上好,欢迎参加本场题为“捍卫数字思维:AI智能体的新兴挑战”的会议。

几周前,我在柏林参加了微软的AI巡回活动,听取了Satya Nadella的演讲。他谈到了智能体、自动化智能体和个性化智能体所构成的这一令人振奋的变革性世界,以及它如何实现普及化,让我们每个人都能借助Copilot Studio创建智能体。

这确实是整场大会最重要的主题。他还做了一个类比:三十年前,或者说现在,我们的组织中都有成千上万的电子表格,而在某种程度上,智能体将接替这些电子表格曾经承担的角色。

我认为这是一个很好的类比,因为它在某种程度上表明,AI智能体、个性化智能体和自动化的使用将在终端用户场景中走向普及,因此最终将对我们产生巨大的变革性影响。

但与此同时,我们都记得,一个组织中存在成千上万的电子表格曾经造成了怎样的混乱,而且我们花了多年时间试图摆脱它们,将其迁移到更受控的系统中。

因此,我认为这既带来了机遇,也带来了大量风险,关键在于我们如何控制这个即将向我们释放的新世界。

而且,正如我们所讨论的,智能体化的世界——我的预测是——将变得相当主流。因此,很快每个人都会谈论AI智能体。目前,它可能更像是一个热点领域,而且人们的热情可能更多集中在科技领域。

因此,我确实认为,在一两年内,每个人,包括微软和其他超大规模云服务商,都将使这一说法变得普及。当然,这不仅仅是微软在做的事情。所有大型科技公司以及许多其他较小的科技公司都在这样做。今天我们这里有其中几位,他们可以发表看法。

因此,今天我们将探讨本议程的两个部分。第一个部分是智能体在组织中的采用,我们已经对此作了一些背景介绍;更广泛地说,这意味着一个组织大规模采用智能体、将大量事务自动化,并使用个人智能体,同时也意味着安全方面的问题,以及我们如何更好地保障安全。

然后,我们将谈及攻击层面。也就是说,对于“坏人”,即攻击者而言,使用智能体,并能够在进攻性场景中非常轻松地创建AI智能体。现在让我快速介绍一下我的嘉宾阵容。

今天我们拥有一个非常出色的嘉宾阵容。首先,请允许我介绍Hoda Al Khzaimi,她是阿布扎比纽约大学网络安全中心主任。欢迎你,Hoda。

Matan Getz是Aim Security的首席执行官,Aim是一家创新型初创公司,专注于保护组织内AI的使用。Nic Chavez是DataStax的首席信息安全官[CISO],DataStax是一家AI数据平台公司。

因此,我相信你们都会同意,这个小组拥有丰富的经验。我将向各位提出一个开场问题。具体来说,请你们每位从自身领域出发,谈谈AI智能体对你们意味着什么,以及企业在采用AI智能体时需要考虑哪些影响和因素。我先请Hoda发言。

Hoda Al Khzaimi:我认为AI智能体并不是这个领域中全新的事物。我的意思是,看看我们每个人。我们上一次或第一次使用Siri或Amazon Echo或诸如此类设备是什么时候?它们被视为个性化助手。这也是我们对AI智能体的一种模式。

我们上一次听说自动驾驶汽车系统、即希望体验自动驾驶的情形是什么时候?这最终同样是AI智能体的一种模式。

因此,AI智能体的终极能力,就是具备这样的能力。目前,我认为它受到很大限制,因为它只是一种软件;但未来,它将是软件和硬件的能力,能够分析组织内部的大数据结构,并在无需人工介入的情况下做出自动化决策。

目前,这在本质上是一项非常关键的体验,因为你们会大量使用强化学习以及许多相关的机器学习方面,用于分析和学习环境中的海量数据集。

因此,这些模型的准确性非常重要。我不确定我们的听众中有多少人在制造单位工作,并在制造单位内部使用这类“自动驾驶仪”来实现工厂周边结构的自动化。因此,这也是AI智能体的一个相当典型的例子。

Grant Waterfall:再举一些例子。非常感谢。接下来请Matan先发言。

Matan Getz:感谢今天上午给我这个机会,谢谢你。对我而言,说得简单些,AI智能体就是代表你行事的应用程序。与Hoda所说的类似,Alexa和Siri其实很早就已经存在了。而变化正如你所描述的那样。我认为,现在的变化在于能够非常非常轻松地创建你自己的AI智能体。

你不需要成为数据科学家,也不需要成为软件工程师,借助现有的一些工具即可。你只需点击几下用户界面,或者给出自然语言描述和指令,就能拥有属于自己的智能体。

因此,变化正是你所说的普及化。而随着每个人都能够创建大量AI智能体,所有的安全问题也随之而来,因为我认为,过去Alexa和Siri这类产品属于大型巨头所有。现在不再如此了。如今,它们让我们每个人都有能力做到这一点。所以。

Grant Waterfall:创建属于我们自己的智能体,对吧?很好。谢谢你,Matan。接下来请Nic发言。

Nic Chavez:根据你的观点,创建AI智能体其实极其简单。我们有一个名为Langflow的工具,就是用来完成这项工作的。鉴于我作为一家AI数据平台公司CISO的身份,我经常与其他CISO会面,帮助他们理解这究竟是怎么回事。

因此,我最常用的描述方式是:想象一下你最有价值的员工,或者你最喜欢共事的同事,对吧?这就是一个AI智能体。

实际上,智能体擅长的事情主要有三类。第一,它们是自主的,对吧?

在你给出最初的指令之后,它们会自行开展工作,而你几乎无需再输入什么。第二,它们具有适应性。也就是说,你会告诉它该做什么,它会尝试弄清楚如何去做;如果做不到,它就会换一种方式再试。

第三,它们以目标为导向。在你向它描述了你希望它做什么以及你认为应当如何去做之后,它会一直执行,直到实现该目标。

现在,我们通常把一位同事看作一个人,对吧?如果你拥有十个这样的同事呢?如果是一百个呢?或者一千个,甚至一百万个呢?所以,为了减轻我们大脑的负担,不妨设想这是一千个同事,他们始终按照你的要求行事,直到达成目标;到那时,他们又可以被派去做其他事情。

这就是智能体式AI。你所指定的任何事情,连同其向量数据库存储以及为其提供动力的大语言模型,都将实现你的目标。

Grant Waterfall:因此,这里蕴含着巨大的机遇。

Matan Getz:我很想借用Nic那个精彩的类比,因为我很喜欢这种将人与智能体相类比的方式,因为这正是终极目标。

但请想一想,你对人类有什么样的期望。比如,你期望他们举止礼貌,期望他们行为得当,前提是这些期望是成立的。有时我们并不清楚这些期望是什么。因此,我们期望大家都准时到达,对吧?我们期望大家穿着得体,言谈得当。

对机器而言,所有这些期望都需要被明确描述。这些或许正是大家都在谈论的护栏,而这也正是你所提出的机遇中最为复杂的部分。

Nic Chavez:是的,我同意这一点。我认为,作为一名IT专业人员或企业利益相关方,你确实必须思考目标是什么,以及我能否利用云端服务——这些云端服务由大语言模型提供商在其中内置了某种程度的信任与安全保障。

或者,我是否需要采用本地部署、几乎属于小型语言模型的方案,并将其与AI智能体相连,再配以某种向量数据库,将所有信息向量化。

这样一来,你便能够部署符合自身信任与安全准则的方案,而这些准则可能与基于云的环境大不相同。

Grant Waterfall:因此,我们开始沿着组织内采用AI智能体的这一路径前行。Matan,我先请你谈谈。让我们更深入地探讨一下,人人都能够创建AI智能体所伴随的某些风险,以及这在组织中可能意味着什么。

我知道你们公司非常专注于解决这些问题。那么,你认为风险究竟在哪里?

Matan Getz:是的。首先,在描述风险之前,我想说的是,目前各方都还处于初期阶段,各自制定政策并自行决定相应规则。遗憾的是,大多数公司的做法,与ChatGPT问世时如出一辙。它们只给出“允许”或“不允许”的政策。我认为这是错误的做法。

通常,企业的做法是:要么禁止使用ChatGPT或AI智能体,然后引入各种限制。事实上,这些限制会削弱业务价值,而这种价值本应是正当的,甚至是极其宝贵的。如果它们允许使用,通常就只是简单地全面放开,形成一个完全开放的“游乐场”,任何人都可以在其中对任何所需的对象做任何事情。

我认为,AI智能体存在三个非常具有风险的方面。第一,是其行动能力,也就是其自主性部分。因此,如果它有能力执行财务交易,或在无需任何人工确认的情况下代表你做出决策,那么这就是一种风险。这是第一个方面。

第二,AI智能体在按照设计目标运行时表现非常出色。但是,当你对其进行操控时,无论是有意还是无意,有时都会出现一些细微的数据漂移,使其行为偏离你的预期。

而正是在这里,攻击者可以利用这种不可预测性。或者,一些员工也可能这样做,或者人们可能无意间造成这种情况。因此,我认为这是第二个方面。

第三个方面,主要针对那些真正采用AI智能体的组织。当智能体与敏感数据相连或基于敏感数据训练时,其效果会变得非常显著。但是,当AI接触到敏感数据时,你就需要格外谨慎,因为此时你必须确保部署了正确的防护措施,以防止攻击和数据泄露。因此,这将是第三个方面。

Grant Waterfall:对。因此,从理论上讲,如果我们在受控环境中部署这些智能体,我们可能会扩大组织的攻击面。

Matan Getz:正是如此。

Hoda Al Khzaimi:好的。接着你的观点,Matan,我认为我们这里面临的是一个两难困境:一方面要理解在平台内部应用这些智能体的效能,另一方面要理解其风险。因为与此同时,当你试图改善系统内部的自主决策结构以提高运营效率时,你也在引入一种威胁因素。

你可能也在引入一种大规模的监视和分析系统的能力。即使你已经以无限制的结构应用了它,你也无法确定恶意行为者是否同样有能力侵入AI智能体的某种配置结构,并应用生成对抗网络这类结构,将对抗模型下载到智能体上,从而对系统进行篡改和攻击。

因此,这种有意的攻击空间以某种方式始终存在。同时,你们谈到了AI智能体与各种结构的融合,而智能体并不会严格依赖大语言模型运行,大语言模型只是它可能使用的诸多不同机器学习结构或自动化结构之一。但是,这种脆弱空间本身依然存在。

大语言模型在可靠性方面并非完美,因为它们在假阳性和假阴性方面非常脆弱。因此,如果你在自己的自动化制造单位中引入一个关键决策环节,那会怎样?一个微小的篡改就可能在整个组织中引发假阳性和假阴性。

因此,你非但没有解决问题,反而在组织中引入了一种大规模的类似现象。从单一视角应对这种大规模失效非常重要。

我认为,这里还应强调的第二个风险在于,AI智能体往往需要在基础设施上应用特定级别的隐私保护协议。而大多数此类隐私保护协议实际上并非为大规模使用而设计,也并非为物联网传感网络而设计,而大多数智能体恰恰需要与物联网传感网络协同工作。

我指的是联邦学习、同态加密和差分隐私等协议。在范围有限的情况下,它们运行良好,但如果要大规模应用,就会在我所说的速度和复杂性分析方面出现问题。

那么,你们将如何应对这些问题?为了在更广泛的事物图景中保护隐私及其他方面,你们可能需要在环境中引入哪些新协议?

Grant Waterfall:这里面的内容很多。

Matan Getz:我还可以指出一个我在许多公司中都看到的非常常见的错误。通常的情况是,存在这样一种政策:AI智能体的创建者实际上可以赋予该智能体所有这些权限。

嗯,我不确定这是否是正确的政策。当有人参与其中时,你或许可以访问敏感数据;但当它是自主运行并大规模部署时,我不确定同样的权限是否应当被AI智能体继承。它是由同一个人创建的。所以,我知道这是一个非常简单、非常基础的用例,但它却非常常见。

Grant Waterfall:是的。我的意思是,这是一个有趣的概念。人们通常会认为,智能体应当继承人类的权限,但当你开始仔细思考时,会发现这是一种不同类型的处理方式。

Nic,你会就这类问题为客户提供咨询。从风险角度来看,你在AI智能体方面都收到了哪些问题?

Nic Chavez:我最常被问到的问题是:在AI智能体之中,好的,因为它是拖放式的,而且在我们的产品中,所见即所得。我的数据是否安全?我的数据在静态存储时和传输过程中是否依然安全?对吧?

比如,API是否安全?它们是如何得到保护的?这是一个很重要的问题,因为从表面上看它非常简单。但当你深入挖掘时,数据投毒确实是一个真实存在的问题。我想这正是你们两位所提到的。这就意味着存在某种恶意行为者。对吧?

但是,取决于你的智能体如何配置学习方式,你还可能面临另一种风险,即它是否具有任何自我引用性,以及它在生成信息时是否可能出现幻觉。

这样一来,你就会得到一个不完善的数据集,并在数据库中创建将完美信息与不完善信息相互关联的向量。对吧?然后,你将其系统化,或许还会将其规模化。对吧?因此,我们总是说,你不希望将糟糕的流程规模化,但这种情况确实可能发生。

Matan Getz:是的。是的。

Hoda Al Khzaimi:试想一下,如果你周围的整个系统都要就关键数据和关键基础设施的性能方面作出判断,会怎样?因此,我认为应当有所限制,在这些情形下,AI智能体的应用应当受到限定。但我们又该如何确保这一点呢?

我认为你在谈话开始时也提到过,这些AI智能体不仅仅是为了实现功能,它们还可能与人类进行交互。

因此,如果它们与人类交互,那么我们就必须引入运营的另一个维度,这一维度更多涉及理解房间内的人类智能、房间内的情绪智能,关注人们的福祉以及所有其他方面,以及贯穿整体的伦理考量,尤其是当它们将被大规模用于医疗保健类数据时。

Matan Getz:从非常务实的角度来看,我想就几个特征提出建议。我认为,如果我们真正理解并为任何AI智能体界定了这些特征,我并不确定它是否就能够安全。但你们的思路是正确的。我想说的是,为确保安全,我看到大多数公司首先面临的困难,就是AI智能体的目的。

因此,AI智能体需要创造价值,而这种价值必须非常具体、界定清晰。我举个例子。比如一个在线购物助手。那么,你是指购买服装,还是也包括化学品?当AI智能体的目的非常狭窄、非常具体时,情况就会比较清楚。我认为这与软件是一样的道理。

我们希望构建的软件,是由非常具体的组件和微服务构建而成的。AI智能体也是如此。人们希望智能体尽可能具体。所以,目的是第一要素。

第二是问责。问责并不会在创建之日结束,恰恰相反,它始于创建之日。第三是可发现性。一切都需要可审计。第四点,我想我们都在谈论这一部分,即它必须值得信赖。我相信我们还会讨论这一点。

Grant Waterfall:抱歉,它需要是什么?

Matan Getz:值得信赖。

Grant Waterfall:好的。明白了。这是非常好的建议。我们先把这个问题放一放,等我们进一步讨论AI智能体在网络安全中的应用、进入控制层面时,我们再回到这一点。但在此之前,我想请Nic发言。

Nic,就攻击层面而言,你有什么看法?

因此,从攻击者利用相同技术的角度来看,正如你所说,这项技术如今正推动着拖放式、点击式的操作,在另一方面也变得普及化了。那么,你预测这将如何演变,以及它将对组织构成怎样的威胁?

Nic Chavez:或许“预测”一词用得太重了,因为我希望它不会发生。

Grant Waterfall:对。

Nic Chavez:是的。拖放式操作,对吧。以前的“脚本小子”至少需要懂得一些Linux和一点Bash,对吧,才能攻击一个组织。让我们回到那位勤勉同事或勤勉员工的例子,你希望拥有的那种员工:自主、适应性强、以目标为导向。

我们都希望拥有这些特质。而我们不希望看到的是,一个黑客有足够的能力,通过拖放的方式,将相关向量,例如某个数据集,放入向量数据库,然后将这个具备智能体能力的AI部署一次、十次、一百次、一千次,甚至一百万次。

突然之间,你面对的就是一个非常智能、具有自我引用能力、并且极其、极其适应性强的工具,基本上就是一种DDoS工具,对吧?我的意思是,它每天24小时攻击你的防火墙,从不休息,从不睡觉。诸如此类,对吧。

一旦它渗透进来,就可以进行横向移动,因为它已经接受过这样的训练。只要你能训练一个人在键盘和界面上完成的任何操作,你都能训练一个AI智能体去完成。

现在,如果有一百万个这样的实体始终朝你涌来,那么实施的成本就非常低。进入门槛也非常低。因此,不仅可能有国家控制着数百万潜在攻击者,街角的某个人也可能在做同样的事情。

因此,我们这个行业需要在事情发生之前,提出更好的识别方法和更好的工具来应对这一问题。因为一旦发生,那将是一场需要扑灭的大火。

Grant Waterfall:好的。关于这一点,还有其他看法吗?

Hoda Al Khzaimi:我认为我们应当制定某种指导方针,即设计指导方针,在涉及任何同时进行大规模分析和自动化的技术时,坚持可靠的设计,并坚持安全且具有韧性的设计。

因此,大规模分析和自动化决策中没有人类介入其间,无法捕捉系统中的任何恶意意图。

就你刚才所解释的内容而言,Nic,我认为从一开始就在AI智能体中编入这种自我调节的韧性非常重要:AI智能体应当能够检测自身是否正被篡改以用于恶意目的,并立即停止该行为;如果系统遭受任何攻击,它们还应自我演进或自我修复。

我认为,这正是我们在停止并对冲任何风险方面所缺失的要素,这些风险可能因功能性错误或人为蓄意的恶意行为而被引入系统。

因此,我们今天在大规模技术的设计中所缺失的,我认为与自动化系统和AI相关,即如何从本质上、通过设计确保这些技术负责任、具有韧性,并在这些能力方面实现自我调节。

我的意思是,有意思的是,我们希望将它们自动化以实现功能,但我们也应当将它们自动化以实现安全。这才是目的所在。我们应当将其自动化,使其安全、具有韧性,并能够探测外围的威胁态势。

Nic Chavez: 我认为这点说得很好。你知道,我现在已经满头白发,年纪大到足以经历过多次数千万级的ERP实施项目。

如今设计ERP实施方案时,首先要考虑安全,通过设计实现安全。很好,没错。这些AI智能体的问题在于,启动它们极其简单,你几乎可以创建一个东西,然后在之后两分钟内启动一个与之对抗的AI智能体。对吧。

因此,我们需要就一套系统性框架达成一致,以防止它被随意或草率地使用,对吧。因为我们不可能指望每个创建AI智能体的人都具备相应的个人专业知识,知道该怎样做,对吧。

所以,它们必须以系统化的方式落实,而这需要我们所有人与产业界共同决定,并与监管机构和标准制定组织协同配合。

Matan Getz: 我很想强调的不仅是这里的紧迫性,还有其中的机遇。就你们两位所说的内容而言,我认为安全领域过去一直非常积极主动。

就你的问题而言,通常的情况是,我看到安全负责人在等待:让我们看看能从AI智能体中获得什么价值。先了解AI智能体的采用情况,再决定它是否应列入我们的优先事项清单,因为问题始终在于优先级排序;风险无处不在。

因此,我不确定现在是否是着手制定智能体保护与安全指南及政策的合适时机,因为我不清楚它的采用情况如何。我认为我们应当反向思考。

这对安全负责人而言是一个机会:不是被动应对,而是主动出击,先制定指南,先确立正确的设计,然后才真正成为引领者,甚至可能成为采用的引领者,并展示他们在采用AI智能体方面的应用案例。

我认为,这是一种缺陷,一种我经常看到的失误;而总体而言,AI在此方面带来了新的机遇,尤其是AI智能体。

Hoda Al Khzaimi: 是的。我认为,正如Matan所言,我们往往会尽快将技术设计并发布到实际环境和具体情境中。我们在这里需要做的,是允许一个孵化过程或沙盒过程,让你能够自由地设计AI智能体。

但与此同时,在该环境中风险应得到充分对冲。之后你便可以决定扩大规模、缩小规模,或者完全不使用,前提是它给平台带来特定的、被放大的风险。

Grant Waterfall: 很有意思,你也提到了ERP的例子,因为我同样在这一领域工作了多年。你知道,最终,确保系统受控且安全在一定程度上是软件提供商的责任。

但实际上,大部分工作落在企业身上,需要进行配置、实施,并围绕其建立监控和控制机制。

所以,我想这将是一种共同责任。但是Matan,你关于安全视角需要在问题反噬我们之前超前布局的观点很有道理,因为我记得当时曾有各种保证说ERP不会出任何问题,结果当然出了问题。对吧。好,那我们接下来谈谈防御层面。

那么,AI智能体如何有可能被用来提升企业的安全性。这涉及检测与响应,以及响应的自动化。显然,如果我们开始使用它们,其中蕴藏着巨大的机遇。

在自动化与控制之间也存在一些风险,其中部分你们已经提到过。谁愿意先开始?我们如何将其用于网络安全?

Nic Chavez: 我的第一台电脑上有一把锁,让你无法开机。这有点像在说:“嘿,没人能绕过这个,对吧?”因此,随着任何行业的发展,攻防的精妙程度也会变得越来越复杂。

我认为,就目前而言,作为首席信息安全官,我们需要思考的是:我们已经有了网络流量异常检测。对吧。这些具有智能体特性的AI可以被编程,以生成并模拟与你试图攻击的系统中现有网络流量相似的网络流量,对吧?

因此,现在我们作为防御方,必须构建一个AI智能体,用来检测那个为渗透网络而模拟现有网络流量的AI智能体,对吧。

因此,当你看到这有多么具有元层级的意味,以及开发这些AI智能体的人员所需具备的专业化水平时,你就会意识到AI智能体所拥有的权力有多大,以及你必须对开发针对智能体攻击的智能体防御的人员或团队抱有多大的信任。

Grant Waterfall: 哇。这意味着需要大量新技能,以及不同的思维方式。Hoda?

Hoda Al Khzaimi: 我们还应当留意AI智能体内部信息的丢失或信息碎片化,因为在某些情境下,它们大多以去中心化的方式工作,以分析和检测异常。我们做网络安全工作就是这样的,对吧?

我们需要攻击谱系影响的“指纹”,并对其进行分析。但如果它们同时也具备扩展规模、预测下一轮攻击周期,甚至模仿下一轮攻击周期的能力,那会怎样呢?

这是否也只能被视为一种防御层式的方法,还是会在网络内同时引入一种不同层级的攻防复杂性?

这些资源的计算能力也是我们应当讨论的问题,因为在正常情况下,边缘计算设备存在特定的边界。我认为,大多数情况下,你无法在某个特定时间点在云端运行所有这些设备。对吧。

因此,你需要将边缘传感器或边缘计算设备部署出去,让它们在设备上进行计算并在设备上学习。但我们的设备中有多少具备对这些结构进行大范围监测、并在如此广阔的表面上进行异常检测的能力?

因此,我在此担心的是,能否扩展到超出我们目前可用防御场景的范围。

Grant Waterfall: 啊。好的。

Matan Getz: 回应你的问题,我们已经看到了许多美好的例子,说明AI智能体在支持网络安全方面可能具有的优势。两周前,Google的Project Zero发布报告称,他们首次发现了由AI智能体找到的零日漏洞。

这是一个很好的例子,我认为这只是一波新实施浪潮的开端,我们将看到更多支持并服务于网络安全的AI智能体应用落地。

Grant Waterfall: 那里蕴藏着巨大的机遇。我想我们还有大约10分钟,所以我将在此暂停,看看观众中是否有任何问题。希望我们没有用AI智能体的术语把大家搞糊涂。我目前没有收到任何问题。我想有一个问题,实际上有两个。

Audience member 1: 你好,我叫Carrie-Anne。我只是想请教,基于刚才关于AI使用的讨论,以及AI如何相互学习,甚至通过相互学习对彼此发起攻击。

你是否认为这样一个世界:就像猫已经跑出了袋子一样,你们谈论监管、谈论框架,而技术已经在被使用,框架之内所能约束的只是那些像其他网络安全工具一样、被负责任且合乎伦理地使用的情形?

你是否认为,我们最终会出现一些例如网络中的公司,它们会站出来,充当那些拒绝负责任地使用该技术的人的防御者?

只是听你们讲,似乎我们正在逐步走向那样一个节点:正如你们所说,人们将不得不去训练一个AI来寻找一个坏的AI,以阻止那个坏的AI。是的。

所以我只是想问——你是否认为,我们将走到这样一个地步:必须超越“我先上市”的商业模式,转而需要捍卫市场。

Grant Waterfall: 这是个好问题。好的,Matan,然后,是的。

Matan Getz: 所以首先我要说,善者总能获胜,善者始终在获胜。好的。我不喜欢贩卖恐惧。好的。

Grant Waterfall: 猫还没有跑出箱子。

Matan Getz: 是的。是的。所以我们是好的一方。我确实相信,外部监管以及这类做法目前落后了。我很惊讶地看到,引领AI创新或采用(即安全AI)的,是企业自身所做的事情。它们实行自我治理,实行自我监管,并自行制定政策。那么,这些政策容易定义吗?

不,这很难。你知道,这需要时间。这些政策容易执行吗?不,非常困难。但正是在这里,我看到许多金融机构和制造业巨头正在引领潮流,实际决定以何种安全方式部署此类技术。

它们并不等待任何框架、外部框架或监管出台,因为它们明白,那些观望的力量都会落在后面。如果它们坐等,就会落后。

Grant Waterfall: 是的。这非常令人安心。

Hoda Al Khzaimi: 我认为,这在很长一段时间里都是如此。这是一个了不起的问题,我认为也是对一个战场以及由各方力量共同构建安全的领域的绝佳描绘。我认为,我们在网络安全领域已经长期逃避“恶魔”了。

而我们的“恶魔”就是:在我们于多个行业构建的各种异构网络和平台之中,缺乏治理结构。我们必须为这类新创新,包括智能体和许多其他新兴技术概念,面对治理结构的问题。很快,缺乏针对设备的敏捷监管也将成为问题。

我的意思是,我们现在需要三年时间来制定能够落地实施的监管,而设备却在不断推出,并且可能每月都有更新,甚至在几周内就会出现不同的变体和版本。因此转瞬之间即已过时。

因此,我认为我们需要建立敏捷的监管机制,同时也让这些智能体能够自我调节,因为你还需要让它们学习监管、结构以及对冲结构。这样,我们就不会出现我们当前所设想的那种混乱战场。

遗憾的是,我认为我们今天看到的大量风险,是因为我们缺乏安全保障。我指的是参与设计智能体和其他新兴技术的科学家、网络科学家及开发者,我还指的是工具。

我们拥有杰出的科学家,也有杰出的开发者,他们正竞相将技术推向市场以实现盈利。但我们同样需要将负责任的技术推向市场,使其在各个领域都能被合乎伦理、负责任地使用。

Grant Waterfall: 说得非常非常好。Nic,你有什么要补充的吗?

Nic Chavez: 是的,简单说几句。我认为超大规模云服务商必然会成为这一切的入口。对吧?

因为,你知道,最简单的说法是:“看,我有1万或10万的预算,我想部署一个数据库,然后开始构建具有智能体特性的AI。”因此,如果监管机构要在某处着力,并且可能会因为说这些话而受到一些批评,他们或许应当考虑这样做:首先与超大规模云服务商合作。

现在,回应Matan的观点,企业需要培养新的能力。它们需要培养的新能力,是评估其信息的价值,然后计算其愿意花费多少来保护这些信息,因为对手也在做同样的计算。

所以,我的意思是,如果你有能力去启动一个AI智能体,并在超大规模云平台上运行,或者在某个鲜为人知的云平台上运行,搭建一台Unix或Linux主机并让它开始运转。也许他们花20,000就能赚取1,300万。对吧。你知道,通过那种智能体方式。

因此,企业确实需要一个敏捷的流程,用以识别信息、了解信息如何受到保护、信息如何以智能体方式部署,以及它们愿意为保护信息投入多少。对吧。在投资方面。并且它们需要几乎持续地这样做。

现在,这有点像变更管理会议,对吧?就像说:好,我们就本月、本周,或者这段时间来讨论一下,因为总有别人在评估你信息的价值,以及窃取它要花他们多少成本。

Hoda Al Khzaimi: 太好了。我想补充Nic刚才所说的内容:我认为倡导开源平台非常重要,因为你希望看到底层的东西,看到正在开发的内容,并允许透明化,以便你能够交叉分析并证明你在生成式AI中所考虑产品的安全状况。

Nic Chavez: 真正的开源。

Hoda Al Khzaimi: 对。真正的开源。我同意你的观点。

Grant Waterfall: 我先和我的小组确认一下。我们还有时间再接受一个问题吗?再一个。好的,很好。我想。是的。

Audience member 2: [听不清] 我有一个问题,它是在你们刚才简要讨论的内容基础上提出的。你知道,运行和操作智能体很困难。如果你回顾指导智能体的历史,那里的意外情况较少。而这一点我们现在在网络空间中也能看到。

智能体往往并不总是按预期遵守规则。确实如此。但与它们被构建时的原始意图保持一致,是建立信任的前提,也是将更重要的业务任务交给它们的前提。

由于AI的验证和确认仍属遥远的未来,也许我们需要一种介于两者之间的机制,以便更早地监测并应对智能体无效或不受欢迎的行为。

那么,你们如何看待确保这种数字思维按预期运行的保障措施?

Matan Getz: 是的,嗯,这正是我们所做的事情。感谢你的提问。的确,需要实时、深入、在线的护栏,用以限制AI智能体能做什么、不能做什么。这些就是我之前所说的预期。

例如,如果是一个贷款承保助手,我们需要决定与这类助手可以讨论哪些话题,以及在某种程度上哪些话题不应讨论。

我们能够用自然语言描述一切,这是一个优势,因为现在我们可以用自然语言设定预期。但要对其进行非常严格的定义,同时又为AI智能体留出足够空间去完成所需的任何工作,并不那么容易。

但要理解的是,时间有限,只能在其他方面做到足够。这需要专业知识。但我同意你的看法,确实需要新的技术来实时监控并保障AI智能体。而且你知道,现有的安全技术栈无法做到这一点。

Grant Waterfall: 至此,我必须结束本场讨论。时间已到。我非常非常感谢我们的与会嘉宾。我认为这是一场极具多样化视角的精彩讨论。

说实话,我认为这对我们而言确实是一个巨大的新兴议题。希望这一点对每个人来说都已清楚。你们是在这里首次听到这一点的。谢谢大家。让我们结束本次讨论。感谢各位出席,也感谢在线上收看的朋友们。

从与自主决策相关的漏洞,到AI驱动的攻击,AI智能体的快速发展可能对组织和社会构成新型威胁。

企业应采取哪些基于责任的策略,才能在有效利用AI智能体的同时,将新兴网络安全风险降至最低?

本内容为2024年11月13日在日内瓦世界经济论坛举办的讨论的完整音频。视频可供论坛数字订阅者在此观看: https://toplink.weforum.org/event-mode/a0PTG0000004wNC2AY/sessions/a0WTG000000TESb2AO/defending-the-digital-mind-the-emerging-challenges-of-ai-agents

演讲者:

Grant Waterfall,合伙人,欧洲、中东和非洲及德国;网络安全与隐私负责人,普华永道

Hoda Al Khzaimi,主任,网络安全中心,阿布扎比纽约大学

Matan Getz,首席执行官,Aim Security

Nic Chavez,首席信息安全官,Datastax

更多播客:

在以下网址收听我们的全部播客 wef.ch/podcasts:

YouTube: - https://www.youtube.com/@wef/podcasts

Radio Davos - 订阅: https://pod.link/1504682164

Meet the Leader - 订阅: https://pod.link/1534915560

Agenda Dialogues - 订阅: https://pod.link/1574956552

加入 世界经济论坛播客俱乐部: https://www.facebook.com/groups/wefpodcastclub

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。