本文字稿由语音识别软件生成,可能存在错误。请对照音频核实其准确性。
凯·弗斯-巴特菲尔德:我很高兴介绍斯图尔特。他写过两本关于人工智能的书,《人类兼容:人工智能与控制问题》。不过,你提到的那本书——说他“确实写了人工智能领域的权威著作”——或许指的是《人工智能:一种现代方法》。世界各地的大多数学生都是通过这本书学习人工智能的。我和斯图尔特第一次见面是在2014年,当时他在英国做了一场讲座,谈他对致命性自主武器的担忧。虽然今天我们不会谈这个话题,但他一直在联合国不懈努力,推动禁止此类武器。斯图尔特与世界经济论坛有着广泛合作。2016年,他成为世界经济论坛人工智能与机器人全球理事会的联合主席。2018年,他又加入我们的全球人工智能理事会。作为理事会成员,他促使我们思考如何借助人工智能实现积极的未来,并通过现在制定和完善政策,为通往那个未来规划路径。
罗宾·波默罗伊: 斯图尔特,你现在通过 Zoom 出现在我们的屏幕上。很高兴认识你。
斯图尔特·罗素: 非常感谢邀请我。很高兴和你以及凯一起参加节目。
罗宾: 你现在身处世界的哪个地方?
斯图尔特: 我在加利福尼亚州伯克利。
罗宾: 你在那里担任教授。我一直在听你在 BBC Radio 4 和世界服务台播出的讲座,也就是里斯讲座。所以我现在觉得自己成了这方面的专家,几周前可不是这样。不过,我们还是从最初的问题开始吧。对于只对人工智能有模糊了解的人来说——我们都知道电脑,也会使用应用程序——其中有多少算人工智能?除了我们已经拥有的东西,它未来又会把我们带向何方?
斯图尔特: 其实,要划出一条明确的界线,说“这款软件是人工智能,那款软件不是”,出乎意料地困难。在这个领域里,我们讨论人工智能时,关注的对象叫作“智能体”,也就是依据自身感知采取行动的东西。感知可以通过摄像头或键盘完成;行动可以是在屏幕上显示内容、转动自动驾驶汽车的方向盘、从坦克发射炮弹,或者其他任何事情。人工智能的目标,是确保产生的行动确实正确,也就是说,能够实现我们为智能体设定的目标。这与经济学和哲学中一个由来已久的概念相对应,叫作“理性智能体”,即其行动可以预期能够实现自身目标的智能体。
这就是我们试图实现的目标。智能体可以非常简单。恒温器就是一种智能体:它有感知能力,只负责测量温度;它有行动能力,就是打开或关闭加热器。它大致遵循两条非常简单的规则:太热就关掉,太冷就打开。这算人工智能吗?其实,你想不想把它称为人工智能并不重要。这里没有一条明确界线,比如说,有17条规则就是人工智能,只有16条就不是。这说不通。所以我们把它看作一个连续谱,从极其简单的智能体到像人类这样极其复杂的智能体。
如今,人工智能系统遍布经济领域——搜索引擎就是人工智能系统。它们已经不只是按关键词查找的系统,而是在尝试理解你的查询。搜索引擎收到的所有查询中,大约三分之一实际上是由知识库作答,而不是只提供一些你可以从中找到答案的网页。它们直接告诉你答案,因为它们拥有大量机器可读形式的知识。
你的智能音箱、手机上的数字助理,也都是人工智能系统。我经常使用机器翻译,因为我得在法国缴税。它把晦涩难懂的法国税法翻译成同样晦涩难懂的英国税法,做得相当不错。所以它对我帮助不大,但翻译质量很好。至于自动驾驶汽车,我想你会说这是人工智能非常典型的应用,它考验许多能力:感知、理解情境,以及作出复杂决策;这些决策必须考虑风险,以及我们开车时可能遇到的许多情况。当然,能力最高端的就是人类。
罗宾: 未来某个时候,机器、人工智能会比人类做得更好,完成所有人类能做的事。我们正在朝这个方向发展吗?
斯图尔特: 是的。这一直是我们的目标,我称之为“通用人工智能”。它还有其他名称:人类水平人工智能、超智能人工智能、人工通用智能。我最终采用“通用人工智能”这个说法,因为它比“超智能人工智能”听起来没那么令人不安。正如你所说,它指的是这样的人工智能系统:对于人类凭借智力能够完成的任何任务,系统要么已经能够完成,要么能够很快学会,并做到与人类一样好或更好。我认为,大多数人都明白,一旦在某项具体任务上达到人类水平,再超越人类水平并不难。因为机器在计算能力、速度和带宽方面拥有巨大优势;它们能以极快的速度存储和检索记忆中的内容,这些都是人类大脑根本无法匹敌的。
罗宾: 凯,我把话筒交给你,我先退居幕后。如果你愿意,我可以做你的联合主持人。我也有一大堆问题,可能会让人讨厌地插几句。不过,接下来这场采访基本上就交给你了。
凯: 谢谢。斯图尔特,你刚才谈了一些我们平时经常接触到的人工智能实例。但人工智能每天都被人们使用的一种方式,不分老幼,就是社交媒体。我们常听到社交媒体导致激进化。我最近参加的一场会议上,法国负责信息技术的部长塞德里克·奥说,人工智能是当前民主面临的最大威胁。我想请你为听众解释一下,人工智能目前的应用究竟如何推动观点两极化。
斯图尔特: 我认为这是一个极其重要的问题。回答你的问题有个难处:我们其实并不知道答案,因为事实被藏在社交媒体公司的金库里。这些事实基本上是每周数万亿条事件记录——数万亿条!因为数十亿人每天数百次使用社交媒体,而每一次互动——点击、滑动、关闭、点赞、点踩、竖起大拇指、竖起大拇指表示不赞同,诸如此类——所有这些数据都无法获取。甚至连 Facebook 监督委员会也无法获取,例如它本应负责监督这些情况,这也是成立该委员会的原因。但委员会无法访问内部数据。
目前有一些轶闻式证据,也有一些数据集可供我们分析,所得结果能够提供一些线索,但我认为还不能下定论。不过,想想这些算法的运作方式:它们试图最大限度提高点击率。它们希望你点击内容、与内容互动,或者花时间留在平台上。后者的衡量指标略有不同,但基本上是一回事。
你可能会说:“好吧,要让人们点击内容,唯一的办法就是给他们推送感兴趣的东西。这有什么问题?”但事实并非如此。提高点击率并不是靠这种方式。真正提高点击率的方法,是向人们推送一连串内容,把他们变成另一个人,让他们更容易点击你今后能够推送给他们的任何内容。
至少根据我们建立的数学模型,这些算法已经学会操纵人们、改变人们,让他们今后更容易受到影响,从而能够以更高的比率变现。
与此同时,当然也出现了一个规模庞大、由人推动的产业,为整个过程添柴加火:标题党产业、虚假信息产业。人们劫持了算法快速改变用户的能力,因为用户每天会进行数百次互动,每次互动都带来一点推动。但如果你连续多天、每天数百次地推一个人,就能大幅改变他的信念、偏好和观点。算法不在乎你持有什么观点,它们只在乎你是否容易受到所推送内容的影响。但人们当然在乎,他们劫持这一过程,从中牟利,并制造符合自身目的的两极化。我认为,我们必须提高透明度。人工智能研究人员希望获得更多信息,因为我们想了解情况,看看能否解决问题。政府也希望如此,因为它们非常担心整个社会结构正在瓦解,或者正遭到其他国家的破坏,而那些国家并不关心他们的最大利益。
罗宾: 斯图尔特,我们知道这是否是算法的副作用,还是某个人在某个阶段把这种两极化植入了算法?
斯图尔特: 我认为这是副作用。我愿意对社交媒体平台抱持一些善意的推定,相信他们并非有意为之。但我们知道一件事:算法运作良好、为公司带来大量收入和利润时,就会形成很大压力,让公司不愿改变算法。因此,无论有意还是无意,这些算法在某种程度上都受到跨国体系的保护。这个体系不断创造并享受数十亿美元的收益,也想保护这条收入来源。
凯: 斯图尔特,你说算法在“操纵”我们,但你也说算法并不在乎。能不能解释一下,这类算法是什么样的?它之所以不在乎,想必是因为它对人类一无所知?
斯图尔特: 没错,它根本不知道人类的存在。从算法的角度看,每个人都只是一段点击记录:系统展示了什么,你有没有点击?假设最近100次或最近1,000次这样的互动就是“你”。然后算法会学习:好,我怎样利用这1,000次互动,选择下一条推送内容?我们把决定下一条推送什么的机制称为“策略”,它根据互动历史作出决策。随着时间推移,策略会不断学习,以最大限度提高长期点击率。因此,它不只是试图选出你最可能点击的下一条内容。算法的构造方式还会让它选择能在长期带来最佳结果的内容。
这就像我想从这里去旧金山,对吧?我会制定一个长期计划,然后开始执行,比如先从椅子上站起来,再做些别的事情,对吧?算法也像是踏上了这样的旅程。它学会了如何把人带到那些让人更可预测的状态;从最大化收入的角度看,算法在乎的就是可预测性。算法本来也不会有意识,但它并不是有意以使人激进化、让人变成恐怖分子或做出类似事情为明确目标。未来的算法可能了解得更多,知道人的确存在,知道我们有思想、具有特定的心理特征和不同的易受影响之处,因此可能会有效得多。我认为这件事乍一听有点像悖论:人工智能越强,结果反而越糟。
凯: 你谈到了算法的学习。我觉得很多人并不真正理解这一点,因为我们使用软件已经很久了,但这种情况稍有不同。
斯图尔特: 其实,我们一直在使用的许多软件都是通过学习过程创建的。比如语音识别系统,并没有人输入一条规则,规定如何区分“cat”和“cut”。我们只是给算法大量“cat”的例子和大量“cut”的例子,然后算法通过调整某种参数来学习区分规则。你可以把它想象成一个大型电路,里面有许多可调权重或连接强度。调整这些权重后,电路的输出就会改变,它会越来越善于区分“cat”和“cut”。我们试图调整这些权重,使结果符合训练数据,也就是我们所说的带标签样例——“cats”和“cuts”。随着所有权重的调整不断进行,最终它在训练数据上会达到完美或接近完美的表现。然后我们希望,当出现新的“cat”或“cut”样例时,它也能正确分类。这就是训练语音识别系统的方法,几十年来一直如此。现在我们的技术略有进步,语音识别系统因此更准确、更稳健。即使你开车时通过有杂音的手机线路讲话,它也能听懂。现在的系统已经足以识别这类语音。
比如说,你购买语音识别软件,也就是听写软件时,通常会有一个我们可以称为“购买后学习阶段”的过程。软件本来已经相当不错,但通过专门用你的声音训练,它还能变得更好。软件会给你几句话让你读出来,这些额外数据就能让它更准确地识别你的语音。
你可以把社交媒体算法的运作也看成这样,有点像购买后的个性化定制——它在了解你。起初,它能推荐大众普遍感兴趣的文章;据我观察,这似乎是金·卡戴珊。但和你互动一段时间后,它就会学到:其实不,我更想看板球比分之类的内容。
凯: 面部识别也是这样吗?我们常听到面部识别系统会出错,尤其是识别有色人种时。这是因为数据有问题吗?
斯图尔特: 通常不是数据本身有问题。在这种情况下,原因是数据中某些人群的样本少得多。因此样本数量较少时,系统对该子群体的识别准确率就会更低。这是个极具争议的问题。不同立场的人很难达成共识:能否通过构建更具代表性的数据集来消除识别率差异?当然,不存在一个完美的代表性数据集。因为在纳米比亚、日本、冰岛或蒙古,什么样的数据集才算具有完美代表性,答案并不相同。在这四种情境下,使用完全相同的数据未必合适。因此,这些问题不再只是技术问题,而是“社会技术”问题。关键在于人工智能系统部署到特定情境并运行一段时间后会发生什么。会有很多事情发生。例如,人们可能开始避开有摄像头的地方,但也许只有某一类人会避开,其他人并不介意。这样一来,数据收集就产生了新的偏差,而这种偏差很难理解,因为你无法预测谁会避开有摄像头的区域。对于人工智能系统如何嵌入社会技术环境、会造成什么影响、社会又会如何影响系统及其运行,我们还远未建立真正的工程学科或科学研究方法。最后,我们全都因此受益了吗?还是全都因此受损?早期的轶闻表明,事情会以各种奇怪的方式出错,而这些情况完全出乎意料,因为我们还不习惯这样思考。
城市规划领域经过几个世纪的实践,已经认识到各种意外情况都会发生。你拓宽一条道路,以为能改善交通流量,结果有时候道路变宽反而让交通更糟。要不要在河上加建一座桥,也是一样的问题。他们学会了要认真推演后果。把一条街改为步行街,看起来可能不错,但交通随后会转移到别处,让附近街区的情况变得更糟。这里面有各种复杂因素,我们才刚开始探索,还没有真正成熟的学科。对于人工智能系统及其社会技术嵌入,还没有与城市规划相当的学科。
凯: 我记得是2019年,你来找我提出一个建议:要真正优化人工智能、特别是你刚才和罗宾谈到的通用人工智能对人类的益处,我们需要重新思考所采用的政治和社会制度。我们当时打算把一群人关在一个房间里,那些人具体来说会是经济学家和科幻作家。后来因为新冠疫情,这件事没有办成。不过,我们举办过一些非常有意思的研讨会。我想请你谈谈,为什么你认为这件事很重要,以及研讨会产生了哪些想法。
斯图尔特: 我想先向观众说明,我们并没有真的打算把人关在房间里,那只是个比喻。我们关心的问题,或者说要探讨的问题是:通用人工智能进入实体经济后会发生什么?一切会如何改变?我们能否适应这种变化,而不造成大规模动荡?你知道,这是个由来已久的问题。令人惊讶的是,亚里士多德甚至写过一段话,大意是:如果我们有了完全自动化的织布机,也有了完全自动化的拨弦器,能自行拨动里拉琴演奏音乐,完全不需要人类,那么我们就不再需要工人。这对于公元前350年来说,是个相当惊人的想法。
凯恩斯在1930年把这个想法称为“技术性失业”。这个问题对人们来说显而易见,对吧?他们会想:是啊,如果机器干了活,那我就会失业。卢德分子也担心过这个问题。很长一段时间里,经济学家甚至认为自己有一个数学证明,说明技术性失业不可能发生。但你想一想,如果技术能够为地球上的每个人制造一个孪生版本,而这个孪生版本更开朗、不那么宿醉,还愿意免费工作,我们当中有多少人还能保住工作?我想答案是零。所以经济学家的数学定理肯定有问题。
过去十来年,经济学界的看法确实发生了转变。事实上,我第一次参加达沃斯会议是在2015年。那是一次晚宴,名义上要讨论“新数字经济”。但几位发言的经济学家——在场有好几位诺贝尔奖得主,还有其他许多杰出的经济学家——却一个接一个地说:“你知道吗?其实我不想谈数字经济。我想谈人工智能和技术性失业,这是我们面临的最大问题,至少从经济角度来看如此。”因为在他们看来,随着通用人工智能逐渐成为现实——现在我们离它还很远——但随着我们朝这个方向发展,我们会看到人工智能系统能够完成越来越多的人类工作任务。
举个例子,亚马逊和其他公司目前运营的电子商务仓库,大约有一半实现了自动化。其运作方式是:过去的仓库里堆满了各种东西,人们四处翻找,找到后再搬回来发货;现在则由机器人取来装有所需物品的货架单元,再送到人工拣货员面前。于是,人工拣货员站在一个地方,机器人来回搬运装着货物的货架单元。但仍然需要人从箱子里或货架上取出物品,因为这对机器人来说还太难。
全世界从事这类工作的人大约有三四百万。与此同时,亚马逊曾举办过一场从箱中取物的竞赛:能否造出足够精准的机器人,几乎可以从货架、箱子等地方取出任何物品——而市面上可买到的物品种类极其繁多——然后把物品送到发货区?这一下就能消灭三四百万个工作岗位。而且,现有系统已经为此做好了准备。所以不需要重新改造一切,只要把机器人放到原来由人工作的地方就行了。
人们担心自动驾驶汽车。随着这成为现实,自动驾驶出租车的价格可能只有普通出租车的四分之一。可以想见会发生什么,对吧?我想,全世界大约有2500万名正规或非正规出租车司机。这种影响就大得多了。当然,随着每种新能力出现,这一进程还会继续。更多任务将实现自动化。我们能否跟上这种变化速度,找到人们可以转而从事的其他工作,再培训他们掌握这些新技能——而他们可能原本并不知道如何做?所以,光说“哦,我们只要把所有人重新培训成数据科学家就行了”当然容易。可首先,我们不需要25亿名数据科学家。我甚至不确定我们是否需要250万名数据科学家。所以这只是杯水车薪。
不过,其他领域——是的,我们需要更多能从事老年护理的人。但要让一个开了25年卡车的人转行从事老年护理,并没有那么容易。还有辅导幼儿。我们的世界中有许多其他尚未满足的需求。我想,几乎所有人都看得出来——确实存在尚未满足的需求。机器或许能满足其中一部分,但只有经过培训、具备相关知识和能力,甚至愿意从事这类工作的人,才能由人来满足这些需求。
所以我们提出的问题是:好吧,如果这一进程继续下去——通用人工智能几乎能完成我们目前称为工作的所有事情——世界会是什么样子?或者说,你希望自己的孩子走进一个什么样的世界,在其中生活?我们在科幻作品中能看到一些看起来相当理想的世界范例。但作为经济体系,它们并不成立。经济学家会说:那个世界里的激励机制行不通——这些人会不再做那件事,那些人会改做这件事,整个体系根本无法稳定运行。而经济学家其实不太会发明新东西,对吧?他们只是讨论,嗯,我们可以提高这项税,或者降低那项利率。达沃斯的经济学家们谈来谈去,都说也许可以有私人失业保险。好吧,没错——这真能解决问题!所以我想把这两群人聚到一起,让想象力受到真实经济知识的校准。
Robin: 我很好奇,经济学家和科幻作家之间,谁是乐观派,谁是悲观派。我想,科幻作家喜欢一些反乌托邦情节,喜欢描写事情如何变得一团糟。但我想知道,事情是否恰恰相反:比起那些身处现实世界、眼看事事总在出问题的经济学家,科幻作家其实抱有更乐观的看法?你有没有注意到什么倾向?
Stuart: 正如你所说,科幻作家喜欢反乌托邦题材,但经济学家大多比较悲观,至少晚宴上的那些人肯定如此;在这些研讨会期间,我也和许多经济学家交流过。我觉得,许多经济学家仍然认为存在补偿效应,事情并不像“机器做了X工作,人就不再做X工作,因此失业”那么简单。确实存在这些补偿效应。如果机器能以更低成本、更高效率、更高生产力完成某件事,就会增加总体财富,进而提升经济中其他所有工作的需求。这样一来,劳动力就会从日益自动化的领域转向尚未自动化的领域。但如果一切都实现自动化,那就会引出“双胞胎”的论点,对吧?这就像给每个愿意无偿工作的人都造一个孪生体。所以我们得想想,有没有哪些领域不会自动化,要么是因为我们不想自动化,要么是因为人本质上就是做得更好。我认为这是一种乐观的看法,你也可以说凯恩斯就持有这种看法。他把它称为“完善生活的艺术”。我们将面对人类永恒的问题:如何愉快、明智而美好地生活。那些更善于修习生活艺术的人,在这样的未来会更加成功。
修习生活艺术是人类理解的事情。我们理解生活是什么,也能为彼此做到这一点,因为我们彼此非常相似。我们有相同的神经系统。我常举一个例子:用锤子砸到自己的拇指。如果你有过这种经历,就知道那是什么感觉,也能体会另一个人的感受。
你不需要神经科学博士学位,就能知道用锤子砸到拇指是什么感觉。如果你没经历过,也可以试试看。现在你就知道那是什么感觉了,对吧?因此,在理解某种感受方面,我们具有一种内在优势:知道被一生挚爱抛弃是什么感觉,知道失去父母是什么感觉,知道在学校班里排名垫底是什么感觉,等等。这让我们相对于机器拥有额外的比较优势。这意味着,在人际交往类职业中,人很可能真正占有优势。我认为,实际上会有越来越多的人进入这些领域。有些人际职业,例如高管教练,薪酬相对较高,因为他们为非常富有的人和企业提供服务。但另一些职业,例如保姆,薪酬极低,尽管理论上我们关爱孩子的程度远胜过关爱首席执行官。可我们付给别人每小时5美元,让他们照看孩子,还可以从冰箱里随便吃东西;而我们腿骨折了,却要付给骨科医生每小时5000美元,还让他随便吃冰箱里的东西,来治好我们的骨折。为什么?因为医生知道怎么做,保姆却不太懂怎么做。有些保姆很不错,有些则糟糕透顶。比如,我小时候那位保姆在我和妹妹七岁和九岁时教我们抽烟,或者说试图教我们抽烟。
Robin: 总得有人做这件事。
Stuart: 总得有人做!要让这种未来愿景成为现实,我们需要一个完全不同的科学基础。我们需要以人文科学为导向的科学基础。怎么做?怎样才能让另一个人的生活变得更好?怎样才能教育一个有着独特个性、特质、特点和其他一切的孩子,让他们具备凯恩斯所说的那种能力,能够明智、愉快而美好地生活?我们对这些知之甚少。要调整整个科学研究方向和教育体系,让这一愿景在经济上真正可行,需要很长时间。如果这就是目的地,我们就应该尽早开始为旅程做准备。因此,这些研讨会的想法就是设想可能的目的地,然后弄清楚当下有哪些政策影响。
Kay: 所以,这些目的地指的是未来的某种情景。我知道,这可能有点像水晶球占卜,但我们大概什么时候会迎来通用人工智能,好让我们做好准备?你说我们现在就需要准备。
Stuart: 我认为这是个很难回答的问题。而且,这也不是非此即彼的事。影响会逐渐扩大。人工智能每取得一次进步,就会大幅拓展能够完成的任务范围。比如,我们一直在研发自动驾驶汽车,而首次展示高速公路驾驶能力是在1987年。为什么花了这么久?主要是因为系统的感知能力不足,其中一部分原因只是硬件问题。处理高分辨率、高帧率视频需要海量硬件。这个问题在很大程度上已经解决了。因此,随着视觉感知能力的提升,受影响的范围不只是自动驾驶汽车;我们还可以开始设想能够在农业领域工作的机器人、能在仓库里拣取零件的机器人,等等。单是视觉感知这一项,就有可能轻易影响5亿个工作岗位。再加上语言理解,可能又会影响另外5亿个岗位。每一项这样的进步都会带来大幅拓展。
所以这些事情都会发生。至于通用人工智能具体何时到来,你无法精确预测。它不是某一天突然到来——“哦,今天它来了,昨天我们还没有”。我认为,大多数专家都说,到本世纪末,我们极有可能拥有通用人工智能。预测的中位时间大约是2045年;这并不遥远,距今不到30年。我相对更谨慎一些,认为这个问题比我们想象的更难。但我很喜欢人工智能奠基人之一John McCarthy回答这个问题时说的话:嗯,大概在五年到五百年之间。我认为,要让它实现,我们需要好几位爱因斯坦。
Robin: 乐观地看,如果这些机器如此聪明,会不会有一天我们只要说:“解决全球饥饿问题,解决气候变化问题”,然后它们就去做,我们给它们六个月,或者其他合理的时间。随后气候变化问题突然就解决了。你在一场里斯讲座中确实谈到了气候变化。你把问题聚焦到气候变化的一个方面,也就是海洋酸化。你设想了一种情景:机器可以解决由气候变化导致的海洋酸化问题。但这里有个很大的“但是”。也许你可以告诉我们,让人工智能去完成一项特定工作时,问题出在哪里?
Stuart: 让人做某件事,和把这件事设定为人工智能系统的目标,两者有很大区别。你请一个人给你拿杯咖啡,并不是说这应该成为他一生的使命,宇宙间其他一切都无关紧要,即使为了在星巴克关门前给你拿到咖啡,他必须杀光店里所有人也在所不惜。你并不是这个意思。当然,我们共同关心的其他一切,也应该影响他的行为。
而如今我们构建人工智能系统的方式存在的问题在于,我们给它们设定一个固定目标。算法要求我们把目标中的所有内容都明确写出来。如果你说:“我们能解决海洋酸化问题吗?”是的,你可以通过某种催化反应极其高效地做到这一点,但它会消耗大气中四分之一的氧气,显然会让我们在几个小时内非常缓慢而痛苦地死去。我们怎样才能避免这个问题?你可能会说,好吧,那就更仔细地设定目标,对吧?别忘了大气中的氧气。结果,它可能会在海洋中引发副作用,把所有鱼都毒死。好吧,我的意思是也别杀鱼。那海藻呢?好吧,别做任何会导致所有海藻死亡的事——诸如此类,无穷无尽,对吧?我们之所以不必对人类这样做,是因为人类往往知道自己不了解我们关心的所有事情。因此,他们很可能会回来问你。比如,你让一个人给你拿杯咖啡,而你恰好在巴黎的乔治五世酒店,那里的咖啡我想一杯要13欧元,他完全可以回来问:“嗯,一杯要13欧元,你确定吗?我也可以去隔壁买一杯,便宜得多。”对吧?这是因为他可能不知道你对咖啡价格的敏感程度,也不知道你是否愿意花这么多钱。人会提出这样的询问,再正常不过了。比如,我要重新粉刷你的房子——我把排水管拆下来再装回去,行吗?我们不觉得这是什么特别复杂的能力,但人工智能系统还不具备这种能力,因为按目前的构建方式,它们必须知道完整的目标。
正如Kay提到的,我在Human Compatible一书中的主要观点是:如果我们构建的系统知道自己并不知道目标是什么,它们就会开始表现出这样的行为,比如,在清除大气中所有氧气之前先征求许可。它们之所以这样做,是因为这会改变世界,而算法可能不知道这是我们希望还是不希望发生的事。因此,它有动力去询问,因为它想避免做任何我们不希望它做的事。这样一来,行为就会更加稳健、可控。更极端地说,如果我们想关掉机器,它会主动希望被关掉,因为它想避免做任何让我们不高兴的事。它想避免这种情况。它不知道自己做的哪件事让我们不高兴,但它想避免这种事。所以如果我们想关掉它,它就希望我们这么做。从这些方面来看,对人工智能系统的控制,来自机器对真正目标的不确定性。当你构建出确信自己知道目标的机器时,就会出现某种精神病态行为;我认为在人类身上也能看到同样的情况。
Kay: 这能帮助解决我们之前谈到的那些基础算法吗——那些正把我们引向激进化的算法?还是说,这只适用于通用人工智能?
Stuart: 不,任何地方都适用。实际上,我们一直在构建按照这些思路设计的算法。你确实可以把它设定为一个形式化的数学问题。我们称之为“协助博弈”——这里的“博弈”是指博弈论中的博弈,也就是涉及多个实体的决策问题。它把机器和人联系在一起,双方都受到对人的目标不确定性的影响。你可以求解这些协助博弈,在数学上推导出能给出解决方案的算法,然后查看解答。你会发现:天哪,它征求了许可;或者,方案中的人类部分确实希望教会机器,因为这样才能确保机器理解人类的偏好,从而避免犯错。
而社交媒体大概是最难的问题,因为问题不只是它在做我们不喜欢的事,它实际上还在改变我们的偏好。如果你愿意这么说,这就是任何试图满足人类偏好的人工智能系统的一种失效模式——满足人类偏好听起来是很合理的事。满足偏好的一种方式,就是改变偏好,让它们已经得到满足。我觉得政客很擅长这么做。我们不希望人工智能系统也这么做。但这属于棘手问题,因为社交媒体的所有用户并不是都讨厌自己,对吧?他们并没有坐在那里说:“你怎么敢把我变成一个狂热的新法西斯分子?”他们相信,自己新近接受的新法西斯主义才是正确的,而此前的自己不过是被蒙蔽了。这就涉及道德哲学中一些最难的当代问题。一个人的偏好随着时间而变化,我们该如何代表他行事?我们应该代表现在的那个人行事,还是未来的那个人?该选哪一个?这个问题没有好的答案。我认为,这暴露出我们对道德哲学理解上的空白。从这个意义上说,社交媒体上的现状确实很难理清。
但我认为,我会建议的一件事,是让社交媒体平台改变思维方式。与其想“好吧,我们怎样才能增加收入”,不如想想“我们的用户在乎什么?他们希望未来是什么样子?他们希望自己成为什么样的人?”如果我们不知道——我认为答案就是我们不知道——毕竟,我们有数十亿用户,他们各不相同,偏好也都不同。我们不知道他们的偏好是什么。那就想想,如何设计这样的系统:起初对用户的真实偏好非常不确定,并努力了解这些偏好,同时尊重它们。最难的是,你不能说“绝对不要触碰用户的偏好,在任何情况下都不许改变用户的偏好”,因为光是阅读《金融时报》就会改变你的偏好。你会变得更有见识,了解各种不同的观点,然后成为一个不同的人。我们希望人们随着时间推移成为不同的人。我们不希望自己永远停留在新生儿阶段。但我们没有一个好的办法来判断,把一个人转变成另一个人的过程何时是好的。我们认为大学教育是好的,全球旅行也是好的。它们通常能让人变得更好;而洗脑不好,加入邪教不好,邪教对人做的事情不好,诸如此类。但社交媒体正在发生的事,正处于我们不知道如何回答这些问题的地带。所以我们确实需要道德哲学家和其他思想者的帮助。
Robin: 你之前引用凯恩斯的话说,等机器替我们完成所有工作,人类就能修习这种艺术——在物质丰裕的时代过尽可能充实的生活。当然,他写这番话时,还没有人人在空闲时间刷社交媒体。
Stuart: E.M.福斯特写过一个有趣的故事。福斯特通常写英国上流社会和维多利亚道德观衰落的小说。但他在1909年写了一篇科幻小说,名为机器停止,我非常推荐这篇作品。故事里所有人都完全依赖机器。他们使用电子邮件,还会被积压的邮件淹没。他们经常视频会议,或者开Zoom会议。他们有iPad。
Robin: E.M.福斯特怎么可能写到iPad?
Stuart: 没错。他称之为“视频碟”,但你知道,那其实就是iPad。后来,人们因为不运动而变得肥胖,因为他们总是黏在屏幕前看邮件。这个故事真正讲的是:一旦你把文明的管理交给机器,你就会失去亲自去理解它的动力,也失去教会下一代如何理解它的动力。
实际上,你也可以把机器人总动员看作《机器停止》的现代版本:所有人都被机器削弱了能力、变得像孩子一样,因为我们失去了真正理解和管理自身文明的动力。直到现在,这种情况还不可能发生,对吧?我们把很多文明成果写进书里,但书不能替我们管理文明。因此,我们总得教会下一代。如果你算一算,这相当于大约一万亿人年不间断的教学与学习,沿着一条延续了数万代的链条传承下来。如果这条链断了会怎样?我认为,这正是这个故事要讲的事情。随着人工智能不断发展,这是我们必须亲自理解的事。
Robin: 不过,从乐观的一面看,当代人触手可及的知识和智慧,是我们30年前根本无法获得的。如果我想读威廉·莎士比亚的诗歌,不用去图书馆或书店——就在眼前;想听交响乐,或者学习弹钢琴,也都很方便。我很羡慕比我年轻30岁的人,因为只要他们选择不变成《机器人总动员》里的人物,就能接触所有这些知识。
Stuart: 他们从未听说过威廉·莎士比亚或莫扎特。他们却能说出所有电子游戏中所有角色的名字。不过,我想这又回到了我们之前讨论的话题:我们需要如何思考教育体系。即使你相信凯恩斯的观点——他对未来的乐观看法并不包括一个以人际服务为基础的经济,而是人们过着幸福的生活,也许有许多自愿互动,形成一种非经济体系——他仍然认为,我们需要了解如何教育人们,让他们能够成功地过上这样的生活。而我们当前的体系做不到这一点,也不是为此而设。它实际上是在教育人们去承担各种不同的经济职能;有人认为,这种体系是为维多利亚时代晚期的英国公务员队伍设计的。那该怎么做呢?我们在这方面经验不多,所以必须学习。
Kay: 你谈到了一些我们为控制通用人工智能需要采取的措施。我们也讨论过,这些措施如何适用于当今的社交媒体。阿西莫夫提出了机器人三大法则,我想你也提出了自己的三项原则,并希望——也正在验证——它们能确保所有人工智能都将人类置于优先地位。
Robin: Stuart,在你回答之前,我能不能先提醒听众一下这三条法则是什么?我刚刚去我的人工智能——维基百科——上查了一下。它们出自科幻作家艾萨克·阿西莫夫。第一法则:机器人不得伤害人类,或因不作为而使人类受到伤害。第二法则:机器人必须服从人类下达的命令,但命令与第一法则相抵触时例外。第三法则:只要不与第一或第二法则相抵触,机器人就必须保护自身的存在。那么,Stuart,你沿着这个思路提出了什么原则?
Stuart: 我提出了三项原则,算是向阿西莫夫致敬。但阿西莫夫小说中的规则,是机器人算法会不断参照的法则,机器人据此决定如何行动。我在书中提出的三项原则,则是人工智能研究人员的行动指南,也指导他们如何设定算法要解决的数学问题。
这三项原则是:第一,所有机器唯一的目标是满足人类的偏好。“偏好”实际上是一个经济学术语。它不只是指你喜欢什么口味的披萨,或者你投票给了谁。它真正指的是:对于所有可能的未来,你如何按照重要程度对它们排序。这是一个极其庞大、复杂、抽象的概念;其中大部分内容,即使你努力尝试,也无法清楚表达,有些甚至是你根本不知道的。因为我确实不知道,自己吃了榴莲之后会不会喜欢它。有些人非常喜欢,有些人则觉得它恶心透顶。我不知道自己属于哪一类,所以我真的没法告诉你,我是否喜欢每天都吃榴莲的未来。这就是第一项原则,对吧?我们希望机器能够满足人类的偏好。
第二项原则是,机器并不知道这些偏好是什么。因此,它对人类偏好存在初始的不确定性。我们已经谈过,这种谦逊使我们能够保有控制权;从某种意义上说,它让机器对人类保持顺从。
第三项原则则明确了前两项原则中“偏好”的含义:人类行为是判断人类偏好的证据来源。这一点可以进一步解释。基本模型是,人类对未来有这些偏好,而这些偏好促使我们做出各种选择。行为意味着我们做的一切和没做的一切——说话或不说话、坐着、看这场讲座或访谈时读邮件,等等。把这些原则转化为数学问题后,我们所说的就是“辅助博弈”。
这些原则与阿西莫夫的原则有显著区别。我认为,阿西莫夫原则中的某些方面有所体现,因为“不让人类受到伤害”这一想法,我认为可以转化为“满足人类偏好”。伤害大致是偏好的反面,因此原则是“满足人类偏好”。但阿西莫夫原则的措辞实际上体现了一种直到20世纪50年代和60年代都相当普遍的思维方式:不确定性并没有那么重要。因此,人们可以说:确保绝不造成伤害,对吧?但想想看:遵守阿西莫夫第一法则的自动驾驶汽车永远不会开出车库,因为在高速公路上不可能保证安全——这根本做不到,因为别人随时可能擦撞你,把你撞得粉身碎骨。因此,你必须考虑世界的不确定性、其他行动者会如何行事,以及你自己的感官无法提供关于世界状态的完整准确信息这一事实。到处都存在大量不确定性。比如,我的车在哪里?我看不到我的车。我坐在家里,它大概就在外面某个地方,但我不确定它是否还在那里。刚才我们谈话时,可能已经有人把它偷走了。世界上几乎所有事情都存在不确定性,做决策时必须把这一点考虑进去。
第三法则说,只要不与前两条法则相抵触,机器人就需要保护自身的存在。在新的框架中,这完全没有必要,因为如果机器人对人类有用,换句话说,如果它能在任何程度上帮助我们满足偏好,这就是它继续存在的理由。否则就没有理由了。如果它对我们毫无用处,或者继续存在会伤害我们,那它绝对应该自行消失。
如果你看过电影《星际穿越》,从人工智能的角度来说,它是对人工智能如何与我们合作描绘得最准确、最合理的作品之一。片中的一个机器人TARS选择了自我牺牲,因为我想它的质量不知怎么成了黑洞问题的一部分,于是它说:“好吧,我要进入黑洞,这样人类就能逃脱。”它对此毫无怨言,而人类却非常难过,连声说:“不,不,不。”这是因为他们大概是受阿西莫夫影响长大的。他们应该明白,实际上,这完全合情合理。
Kay: 我非常希望邀请你来和我们一起录制这期播客,能让所有听众对人工智能有更深入的了解,因为媒体等渠道上有太多关于人工智能的不实信息。你刚刚还做了声望很高的BBC里斯讲座,你的作品也影响了很多人。我知道这个问题很难回答,但你最希望听众了解人工智能的哪一点?
Stuart: 正如我们从商业备忘录中所知,我总想传达三点。第一,人工智能是一种技术。它本身并非善或恶,如何选择取决于我们,对吧?我们可以善用它,也可以滥用它。设计不当的人工智能系统会带来风险,尤其是那些追求设定错误目标的系统。
我其实认为,我们对算法总体上——不只是人工智能系统,而是所有算法——放任太久了。回想一下,过去我们也曾对药品不加监管:当时没有美国食品药品监督管理局(FDA)或其他机构监管药品,成千上万人因配方不当的药物、假药以及种种类似药物而死亡或受伤。最终,经过大约一个世纪,我们建立了药品监管体系。它确实成本高昂,但大多数人认为有这样一个体系是件好事。算法监管离这样的体系还差得很远,尽管这些算法对全球数十亿人的影响巨大,甚至可能超过药品的影响。我认为,不能理所当然地假设这种影响必然是好的。如今,各国政府开始意识到这一点,也在努力摸索如何监管,同时避免因监管过严而把事情搞砸。
第二,虽然我们谈了不少反乌托邦式的结果,但人工智能的潜在益处巨大,对吧?回到凯恩斯的观点:是的,它确实可能让我们明智、愉快、美好地生活,不再受整个人类历史中始终存在的生存挣扎所困。
到目前为止,我们别无选择。我们必须起床,否则就会饿死。未来,我们将拥有选择。我希望我们不会只选择赖在床上,而是会有其他理由起床,从而真正过上丰富、有趣、充实的生活。这正是凯恩斯思考、预测并期待的未来,但它不会自动实现。即使这个黄金时代到来,也仍有各种反乌托邦式的结果可能发生。
第三,无论电影怎么说,机器产生意识、决定憎恨人类并想要杀死我们,这种情况并不太可能发生。
向下滚动查看完整播客文字稿。
加州大学伯克利分校计算机科学教授Stuart Russell是全球最受尊敬的人工智能专家之一。他解释了什么是人工智能、我们何时可能会看到机器在各项活动中超越人类,以及为什么这意味着我们需要重新思考算法的设计和使用方式,并深入探究人类自身的本质。
本期节目由世界经济论坛第四次工业革命中心人工智能与机器学习负责人Kay Firth-Butterfield共同主持。
阅读更多:
https://www.weforum.org/agenda/2022/01/artificial-intelligence-stuart-russell-radio-davos
订阅,可在任意平台收听:https://pod.link/1504682164
加入 世界经济论坛播客俱乐部



