人工智能（AI）正在改变我们生活的方方面面。
斯图尔特·罗素教授表示，我们需要让人工智能“与人类相容”。
我们必须为这样一个世界做好准备：机器将在大多数工作岗位上取代人类。
罗素表示，社交媒体人工智能会改变人们，让他们更频繁地点开内容。
他说，我们让算法“逍遥法外”太久了。
节目页面：https://www.weforum.org/podcasts/radio-davos/episodes/ai-stuart-russell
一项面向世界经济论坛开展的最新调查显示，全球每10人中有6人预计，未来三到五年人工智能将深刻改变他们的生活。这项调查由益普索为世界经济论坛开展，调查对象为28个国家近20,000人。
多数受访者表示，使用人工智能的产品和服务已经让他们在教育、娱乐、交通、购物、安全、环境和食品等方面的生活更加便利。但表示自己对使用人工智能的公司与对其他公司同样信任的受访者只有一半。
但人工智能究竟是什么？它如何解决人类面临的一些重大难题？人工智能本身又会给人类带来哪些威胁？
凯·弗斯-巴特菲尔德是世界经济论坛第四次工业革命中心人工智能与机器学习负责人。她与《达沃斯电台》主持人罗宾·波默罗伊一同邀请全球顶尖人工智能专家之一斯图尔特·罗素，探讨这些问题。
本期播客提到的人工智能报告和音频：
文字实录：人工智能的承诺与风险——斯图尔特·罗素做客《达沃斯电台》
凯·弗斯-巴特菲尔德：我很高兴为大家介绍斯图尔特。他写过两本关于人工智能的书，分别是《人类相容：人工智能与控制问题》。不过，或许你提到的那本书才是他说“简直写出了人工智能的权威著作”的那本，也就是《人工智能：一种现代方法》——世界各地的大多数学生都是通过这本书学习人工智能的。我和斯图尔特第一次见面是在2014年，当时他在英国的一场讲座上谈及自己对致命性自主武器的担忧。今天我们不会讨论这个话题，但他一直在联合国不懈努力，推动禁止此类武器。斯图尔特还与我们世界经济论坛有广泛合作。2016年，他成为世界经济论坛人工智能与机器人全球理事会的联合主席。随后在2018年，他加入了我们的全球人工智能理事会。作为理事会成员，他促使我们思考如何实现人工智能的积极未来，通过现在就规划和制定政策，为通往这一未来指明方向。
罗宾·波默罗伊：斯图尔特，你通过 Zoom 出现在我们的屏幕上。很高兴认识你。
斯图尔特·罗素：非常感谢邀请我来。我很高兴和你以及凯一起参加节目。
罗宾：你现在身处世界的哪个地方？
斯图尔特：我在加利福尼亚州伯克利。
罗宾：你在那里担任教授。我一直在听你在 BBC Radio 4 和世界服务台播出的讲座，也就是里思讲座。所以现在我觉得自己也成了这方面的专家，几周前我可不是这样。不过我们还是从头说起吧。对于只对人工智能有个模糊概念的人来说——我们都知道计算机，也会使用应用程序——其中有多少算人工智能？除了我们已有的应用之外，人工智能未来又会把我们带向何方？
斯图尔特：其实，要划出一条明确的界线，说“这款软件是人工智能，那款不是”，出乎意料地难。在这个领域里，我们讨论人工智能时，所说的对象叫作“智能体”，也就是依据自身感知采取行动的事物。感知可以通过摄像头或键盘完成。行动可以是在屏幕上显示内容、转动自动驾驶汽车的方向盘、从坦克发射炮弹，或者其他任何事情。人工智能的目标是确保产生的行动确实恰当，也就是说，能够实现我们为智能体设定的目标。这与经济学和哲学中一个由来已久的概念相对应，叫作“理性智能体”——即人们可以预期其行动会实现自身目标的智能体。
这就是我们努力要做的事。智能体可以非常、非常简单。恒温器就是一种智能体。它具备感知能力——只是测量温度；也具备行动能力——打开或关闭加热器。它大致遵循两条非常简单的规则：太热就关掉，太冷就打开。这算人工智能吗？其实，你想不想把它叫作人工智能并不重要。所谓界线并非截然分明，比如不能说“有17条规则就是人工智能，只有16条就不是”。那样说不通。所以我们把它看作一个连续谱，从极其简单的智能体一直到人类这样的极其复杂的智能体。
如今，人工智能系统遍布经济领域，搜索引擎就是人工智能系统。它们已经不再只是查找关键词的系统，而是在努力理解你的查询内容。输入搜索引擎的所有查询中，约有三分之一实际上由知识库直接回答，而不是只给你一些可以自行查找答案的网页。它们能直接告诉你答案，因为机器可读形式的知识储备十分丰富。
智能音箱、手机上的数字助理——这些都是人工智能系统。还有机器翻译，我经常使用，因为我得在法国缴税。它能把晦涩难懂的法国税法翻译成同样晦涩难懂的英国税法，做得非常出色。所以这对我帮助不大，但翻译质量确实很好。再说自动驾驶汽车，我认为这是非常典型的人工智能应用，涉及许多方面：感知能力、理解情境的能力，以及作出复杂决策的能力，而这些决策必须考虑风险和我们开车上路时可能遇到的种种情况。当然，最高端的人工智能系统就是人类。
罗宾：未来某个时候，机器，也就是人工智能，将能够做人类能做的一切，而且做得更好。这是不是我们正在迈向的方向？
斯图尔特：是的。这一直是我们的目标，我把它称为“通用人工智能”。它还有其他名称：人类水平的人工智能、超智能人工智能、人工通用智能。我最终选用了“通用人工智能”，因为这个说法比“超智能人工智能”稍微没那么令人不安。正如你所说，它指的是这样一种人工智能系统：对于人类凭借智力能够完成的任何任务，它要么已经能够胜任，要么能很快学会，并且做到与人类同样好或更好。我想大多数人都明白，在任何具体任务上达到人类水平之后，再超越人类水平并不难。因为机器在计算能力、速度和带宽方面有巨大优势；它们还能够以极快的速度存储和检索记忆，这是人类大脑无论如何也无法比拟的。
罗宾：凯，接下来交给你，我退居幕后。你愿意的话，我可以当你的联合主持人。我也有一大堆问题，可能会忍不住插话。不过基本上，这次访谈剩下的时间都交给你了。
凯：谢谢。斯图尔特，你刚才谈到了一些我们日常接触到的人工智能应用。但从年幼者到年长者，人们每天使用人工智能的一种方式就是社交媒体。我们常听说社交媒体会导致激进化。事实上，在我最近参加的一次会议上，法国负责数字事务的部长塞德里克·奥谈到人工智能时，称它是当前民主面临的最大威胁。我想请你为听众解释一下，目前人工智能的应用是如何推动思想两极分化的。
斯图尔特：我认为这是一个极其重要的问题。要回答你的问题，难处在于我们其实并不知道答案，因为事实被社交媒体公司的档案库严密保管着。这些事实基本上就是每周数以万亿计的事件——数以万亿计！因为数十亿人每天数百次使用社交媒体，每一次互动——点击、滑动、忽略、点赞、点踩、竖起大拇指、向下比拇指，诸如此类——所有这些数据都无法获取。就连 Facebook 的监督委员会也无法获取，例如，这个委员会本来就是为了监督相关情况而设立的，却也接触不到内部数据。
要最大化点击率，就要向人们连续推送一串内容，把他们变成更容易点击你今后推送内容的另一种人。
目前有一些个案证据，也有一些数据集可以用于分析，结果虽有启发性，但我认为还不能得出定论。不过，如果你想想这些算法的工作方式，就会发现它们的目标是最大化点击率。它们希望你点击内容、与内容互动，或者在平台上花时间。后者衡量的是略有不同的指标，但基本上是一回事。
你可能会说：“好吧，要让人们点击内容，唯一的办法就是给他们推送感兴趣的东西。那有什么问题？”但事实并非如此。这并不是最大化点击率的办法。要最大化点击率，实际上是向人们连续推送一串内容，把他们变成更容易点击你今后能推送给他们的内容的另一种人。
所以，至少根据我们建立的数学模型，算法已经学会操纵人们、改变他们，让他们今后更容易受到影响，从而能够以更高的费率实现商业变现。
算法不在乎你持有什么观点，它们只在乎你是否容易受到所推送内容的影响。但人当然在乎。
与此同时，当然也出现了一个庞大的人为产业来推动整个过程：标题党产业、虚假信息产业。人们劫持了算法迅速改变人们的能力，因为每个人每天都会互动数百次，每一次互动都带来一点点影响。但如果连续多天每天影响一个人数百次，就能在很大程度上改变他们的信念、偏好和观点。算法不在乎你持有什么观点，它们只在乎你是否容易受到所推送内容的影响。但人当然在乎，于是他们劫持这一过程加以利用，制造符合自身目的的两极分化。我认为，我们必须提高这方面的透明度。人工智能研究人员希望看到更多信息，因为我们想了解情况，看看能否解决问题。各国政府也希望如此，因为它们非常担心整个社会结构正在瓦解，或正受到不怀好意的其他国家的削弱。
罗宾：斯图尔特，我们知道这只是算法的副作用，还是有人在某个时候把这种两极分化植入了算法？
斯图尔特：我认为这是副作用。我愿意对社交媒体平台保持些许善意的推定，相信它们当初并非有意为之。但我们知道的一点是，当算法运作良好，为公司带来大量收入和利润时，公司就会承受巨大的压力，不愿改变算法。因此，无论这是有意还是无意，这些算法在某种程度上都受到跨国架构的保护。这个架构创造并享受着数十亿美元的收入，并希望保护这条收入来源。
凯：斯图尔特，你用了“操纵”这个词，但你也说算法并不在乎。能不能解释一下这类算法是什么样的？它不在乎，想必是因为它对人类一无所知？
[人工智能]根本不知道人类的存在。从算法的角度来看，每个人只是一段点击历史。
斯图尔特：没错，它根本不知道人类的存在。从算法的角度来看，每个人只是一段点击历史：系统展示了什么，你有没有点击？再比如说，最近100次或1,000次这样的互动就是你的全部。然后算法会学着思考：好，我该如何利用这1,000次互动，选择下一条要推送的内容？我们把这种选择机制称为“策略”：根据互动历史决定下一步推送什么。随着时间推移，算法会学习这一策略，以最大化长期点击率。因此，它不只是试图选择你最可能点击的下一条内容。算法的构造方式决定了，它还会选择能够带来最佳长期结果的内容。
这就像我想从这里去旧金山，对吧？我先制定一个长期计划，然后开始执行，比如从椅子上站起来，再做其他一些事，对吧？算法也像是踏上了一段旅程，它学会了如何抵达这样的目的地：在那里，人们更容易预测，而算法在最大化收入时看重的正是这种可预测性。算法本来也不会有意识，但它的行为并非蓄意为之，也就是说，它并没有明确设定要让人激进化、让人变成恐怖分子，或是做出类似的事。未来的算法可能会了解得更多，知道人类确实存在，知道我们有思想、具有某种心理特征，也知道不同人容易受到不同影响；这类算法可能会有效得多。我认为，乍一看这有点像个悖论：人工智能越强，结果反而越糟。
凯：你谈到了算法学习。我想很多人并不太理解这一点：我们长期以来一直在使用软件，但这稍有不同。
斯图尔特：其实，我们一直在使用的许多软件都是通过学习过程创建的。比如语音识别系统。没有人会输入一条规则，告诉系统如何区分“cat”和“cut”。我们只要给算法大量“cat”和“cut”的例子，它就会通过调整某种机制的参数来学会区分规则。你可以把这种机制想象成一个大型电路，里面有许多可调权重，或称连接强度。调整电路里的权重，电路的输出就会改变，它也会逐渐更擅长区分“cat”和“cut”。你要做的是调整这些权重，让输出符合训练数据，也就是我们所说的带标签示例——“cats”和“cuts”。随着所有权重不断调整，系统最终会在训练数据上达到完美或近乎完美的表现。然后你希望，遇到新的“cat”或“cut”示例时，它也能正确分类。这就是训练语音识别系统的方法，几十年来一直如此。现在我们的技术稍有进步，因此语音识别系统更准确、更稳健：即使你开车时在信号嘈杂的手机线路上讲话，它也能听懂。现在的语音识别已经足够好，能听懂你说的话。
例如，你买了语音识别软件，也就是语音听写软件后，往往会有一个可以称为“购买后学习”的阶段。软件本来已经挺好，但针对你的声音进行训练后还能变得更好。它会让你读几句话，这些额外数据能让系统对你的语音识别得更准确。
你可以把社交媒体算法的运作过程想成类似的情况——一种购买后的个性化定制过程，它在了解你。一开始，它会推荐大众感兴趣的文章。就我看来，这似乎是金·卡戴珊的相关内容。但和你互动一段时间之后，它就会学到：其实，不，我更想看板球比分之类的内容。
人工智能系统没有相当于城市规划的学科。
凯：面部识别也是同样的原理吗？我们常听说面部识别会出错，尤其是识别有色人种时。这是因为数据有问题吗？
斯图尔特：通常不是因为数据有误。在这种情况下，问题在于数据中某些人群的样本少得多。因此，样本较少的群体，其识别准确率就会较低。这是个很有争议的问题。辩论各方对于能否通过建立更具代表性的数据集消除识别率差异，很难达成共识。当然，也不存在一个完美的代表性数据集。因为在纳米比亚、日本、冰岛或蒙古，什么才算完美的代表性数据集，答案会各不相同。在这四种情境中使用完全相同的数据，未必合适。所以这些问题已不再只是技术问题，而是“社会技术”问题。重要的是人工智能系统在特定情境中部署并运行一段时间后会发生什么。期间会有许多事情出现。例如，人们可能开始避开有摄像头的地方，但也许只有某一类人会避开，其他人并不介意。这样一来，数据收集就产生了新的偏差，而这种偏差很难理解，因为我们无法预测谁会避开装有摄像头的区域。我们还远没有建立真正的工程学科或科学方法，来理解人工智能系统嵌入社会技术环境的过程，包括它们会产生什么影响、社会又会如何影响系统及其运行。最终，我们所有人的处境是变好了，还是变糟了？早期的个案显示，事情会以各种奇怪的方式出错，完全出乎意料，因为我们还不习惯这样思考。
城市规划领域的人们经过几个世纪的经验，已经学会了预料各种意外情况。拓宽道路时，你会以为这样能改善交通流量，但有时更宽的道路反而会让交通更糟。要不要在河上架桥，也是同样的道理。他们学会了认真推演后果：比如把一条街改成步行街，可能看起来不错，但交通随后会转移到别处，让下一个街区的情况变得更糟。因此会出现各种复杂情况，而我们才刚刚开始探索这些问题，目前还没有建立起完善的学科。对于人工智能系统及其社会技术嵌入过程，我们还没有相当于城市规划的学科。
凯：我记得是2019年，你来找我提出了一个建议：要真正最大化人工智能，特别是你刚才和罗宾谈到的通用人工智能，对人类的益处，我们需要重新思考现行的政治和社会制度。当时我们打算把一群人关在房间里，其中包括经济学家和科幻作家。后来因为新冠疫情，我们没能这么做。不过我们举办的研讨会非常精彩。我想请你谈谈，为什么你认为这件事很重要，以及由此产生了哪些想法。
斯图尔特：我想向观众们说明，我们确实没打算把人关在房间里，这只是比喻。我们关心的问题是：当通用人工智能进入现实经济时会发生什么？一切会如何改变？我们能否适应这些变化，同时避免大规模的社会动荡？这是一个非常古老的问题。令人惊讶的是，亚里士多德甚至写过一段话说：你看，如果我们有完全自动化的织布机，还有能自动拨奏七弦琴、无需任何人类便能演奏音乐的拨子，那我们就不需要工人了。公元前350年就能有这样的见解，着实惊人。
这个观点显而易见。凯恩斯在1930年把它称为“技术性失业”，人们都明白，对吧？他们会想：是啊，如果机器干了活，那我就会失业。卢德分子也担心这一点。很长一段时间里，经济学家实际上认为自己已经用数学证明了技术性失业不可能发生。但你想想看，如果技术能为地球上的每个人造出一个克隆人，而这个克隆人更开朗、不宿醉，还愿意白白工作，那我们当中有多少人还能保住工作？我想答案是零。经济学家的数学定理显然有问题。
过去十年左右，经济学界的看法发生了很大转变。事实上，最先……达沃斯我参加过的会议，在2015年。有一场晚宴据说是为了讨论“新数字经济”。但几位发言的经济学家——其中有几位诺贝尔奖得主，还有其他非常杰出的经济学家——却一个接一个地说：“你知道，其实我不想谈数字经济。我想谈谈人工智能和技术性失业，这是我们在世界上面临的最大问题，至少从经济角度看是如此。”因为在他们看来，随着通用人工智能逐渐成为现实——目前我们离它还很远——但随着我们不断向它迈进，我们会看到人工智能系统能够承担越来越多的人类工作任务。
举个例子，如果你想想亚马逊和其他公司目前为电子商务运营的仓库，它们已经实现了半自动化。运作方式是：不再像旧式仓库那样把大量东西堆得到处都是，再由人去翻找、拿回来并发出去，而是由机器人找到装有所需物品的货架单元，并把它送到人类工人面前。于是，工人站在一个地方，机器人则来回取送装有货物的货架单元。但人还得从箱子或货架上把物品拿出来，因为这一步仍然太难实现自动化。
说“哦，我们只要把所有人都重新培训成数据科学家”当然容易。但我们不需要25亿名数据科学家。
全世界从事这类工作的人，比如说有三四百万。与此同时，亚马逊曾举办过一场抓取物品竞赛：能不能造出足够精准的机器人，几乎可以从货架、箱子等处抓取任何物品——市面上能买到的物品种类非常多——然后把它送到发货区？那一下子就能消灭三四百万个工作岗位。而系统已经搭建完毕，可以做到这一点。所以无需重新调整整个系统，只要把机器人放到原来由人工作的地方就行。
人们担心自动驾驶汽车。等它成为现实，自动驾驶出租车的价格可能只有普通出租车的四分之一。你可以想象会发生什么，对吧？我想，全世界有大约2500万名正式或非正式的出租车司机。所以这会造成更大的影响。当然，随着每一项新能力出现，这种情况还会继续。更多任务会实现自动化。我们能否跟上这种变化速度，找到人们可以做的其他事情，再培训他们去做那些他们可能还不会做的新工作？说“哦，我们只要把所有人都重新培训成数据科学家”当然容易。但首先，我们不需要25亿名数据科学家。甚至不确定我们是否需要250万名数据科学家。这只是杯水车薪。
不过，其他方面——是的，我们需要更多能从事老年护理的人。但要让一个开了25年卡车的人转行进入老年护理行业，并不容易。还有辅导幼儿。我们的世界上有许多其他尚未满足的需求。我想几乎所有人都清楚这一点——确实有未满足的需求——机器或许能满足其中一部分，但只有在人类经过培训、具备知识和能力，甚至愿意从事这类工作时，人类才能满足这些需求。
我们在科幻作品中能看到一些看起来相当理想的世界模式。但作为经济体系，它们并不能自圆其说。
所以我们当时提出的问题是：好，如果这个过程继续下去——通用人工智能几乎承担了我们现在称为工作的所有事情——世界会是什么样子？或者说，你希望自己的孩子进入、生活在一个什么样的世界里？我们在科幻作品中能看到一些看起来相当理想的世界模式。但作为经济体系，它们并不能自圆其说。经济学家会说，在那样的世界里，激励机制行不通——这些人会停止做那件事，那些人会改做这件事，整个体系就不稳定了。经济学家其实不太发明新东西，对吧？他们只是讨论，比如我们可以提高这项税，或者降低那个利率。达沃斯晚宴上讨论此事的经济学家都说：也许我们可以实行私人失业保险。好吧，是啊——这可真能解决问题！所以我想把这两群人聚在一起，让想象力受到实际经济认知的校准。
罗宾：我很好奇，经济学家和科幻作家中，谁是乐观派，谁是悲观派。我想科幻作家喜欢反乌托邦，也喜欢描绘事情一团糟的情形。但我想知道，是否恰恰相反：与身处现实世界、总是看到事情不断出错的经济学家相比，他们的看法其实更乐观？你注意到哪一方有这种倾向吗？
斯图尔特：科幻作家正如你所说，喜欢反乌托邦；但经济学家大多比较悲观，至少晚宴上的那些人肯定如此。我在这些研讨会上也与许多经济学家交流过。我认为，许多经济学家仍然认为存在补偿效应：事情并不像“机器做了X工作，那么人就不做X工作，因此人就失业”这么简单。确实存在补偿效应。如果机器能以更低成本、更高效率、更高生产力完成某件事，那么整体财富就会增加，从而带动经济中其他所有工作的需求增长。于是，劳动力就会从正在自动化的领域转移到尚未自动化的领域。但如果所有事情都实现自动化，那就涉及“双胞胎”的论点，对吧？这就像给每个愿意无偿工作的人造一个双胞胎。所以我们必须思考，是否有一些领域我们不会自动化，要么是因为我们不想自动化，要么是因为人类本身就更擅长。我认为这是一种乐观的看法，也可以说凯恩斯持有这种观点。他称之为“臻于生活艺术”。我们将面临人类永恒的问题：如何愉快、明智而美好地生活。那些更善于培养生活艺术的人，在这个未来会更加成功。
因此，培养生活艺术是人类所理解的事情。我们理解生活是什么，也能为彼此做到这一点，因为我们彼此十分相似。我们有相同的神经系统。我常举用锤子砸到拇指的例子。如果你曾经这样做过，就知道那是什么感觉，也就能体会另一个人的感受。
我们天生就更能体会被此生挚爱抛弃是什么滋味……因此，相比机器，我们拥有额外的比较优势。
你不需要神经科学博士学位，也知道用锤子砸到拇指是什么感觉；如果你还没经历过，那就砸一下。现在你就知道是什么感觉了，对吧？所以我们天生有一种优势，能体会那是什么滋味：被此生挚爱抛弃是什么感觉，失去父母是什么感觉，在学校班级里成绩垫底是什么感觉，等等。因此，相比机器，我们拥有额外的比较优势。这意味着在人际交往类职业中，人类很可能确实占有优势。我认为，实际上会有越来越多的人转向这些领域。有些人际交往类职业，比如高管教练，薪酬相对不错，因为他们为非常富有的人和企业提供服务。但另一些职业，比如保姆，薪酬极低，尽管按理说我们非常在乎自己的孩子，胜过在乎首席执行官。可我们每小时只付给保姆5美元，还让她随便吃冰箱里的东西来照看孩子；而如果我们摔断腿，就会付给骨科医生每小时5000美元，还让他随便吃冰箱里的东西来治好我们的腿。为什么？因为他知道怎么做，而保姆并不真正懂得怎么做。有些保姆很不错，有些则糟糕透顶。比如我小时候的保姆，在我和妹妹七岁和九岁时教我们，或者说试图教我们抽烟。
罗宾：总得有人来做。
斯图尔特：总得有人来做！要让这种未来愿景成为现实，我们需要一套完全不同的科学基础。我们需要一套以人文科学为导向的科学基础。怎样做才能让别人的生活变得更好？怎样教育一个有着独特个性、特质、特点和方方面面的孩子，让他们拥有凯恩斯所说的那种能力，能够明智、愉快而美好地生活？我们对此所知甚少。要改变整个科学研究方向和教育体系，让这一愿景在经济上真正可行，需要很长时间。如果那是我们的目的地，我们就应当尽早开始为这段旅程做准备。因此，这些研讨会的构想就是设想这些可能的目的地，然后弄清楚现在的政策应当如何应对。
凯：所以我们谈论的这些目的地，是未来的事情。我知道这可能是在占卜预测，但我们预计通用人工智能何时会出现，才能做好准备？你说我们现在就需要开始准备。
斯图尔特：我认为这是个很难回答的问题。而且也不是非此即彼的情况。影响会逐步增加。人工智能每一次进步，都会显著扩大能够完成的任务范围。比如，我们一直在研究自动驾驶汽车，首次展示高速公路驾驶是在1987年。为什么花了这么长时间？主要是因为系统的感知能力不足，其中一部分原因只是硬件问题。处理高分辨率、高帧率视频需要大量硬件。而这个问题基本上已经解决了。因此，现在有了视觉感知能力，能做的事情就多了，不只是自动驾驶汽车，还可以设想能在农业领域工作的机器人、能在仓库里分拣零件的机器人，等等。单是这一项就有可能轻易影响5亿个工作岗位。再加上语言理解能力，又可能影响另外5亿个工作岗位。所以每一项这样的变化都会带来大幅扩展。
大多数专家认为，到本世纪末，我们极有可能拥有通用人工智能。预测中位数大约是2045年。
所以这些事情终将发生。通用人工智能实际到来的日期，你不可能精确指出。它并非某一天突然出现——“哦，它今天到来了，昨天还没有”。我认为大多数专家都说，到本世纪末，我们极有可能拥有通用人工智能。预测中位数大约是2045年，时间并不算太久，距离现在不到30年。我稍微偏保守一些。我认为这个问题比我们想象的更难。不过我很喜欢约翰·麦卡锡的回答，他是人工智能领域的创始人之一。有人问他这个问题时，他说：“嗯，大概在五年至五百年之间。”我认为，要实现这一目标，我们需要好几位爱因斯坦。
罗宾：从好的方面看，如果这些机器如此聪明，会不会有一天我们只要说：“解决全球饥饿问题，解决气候变化问题”，然后它们就去做，你给它们六个月，或者其他合理的时间，突然之间它们就解决了气候变化问题。你在一次里斯讲座中确实谈到了气候变化，还把问题具体聚焦到气候变化的一个方面：海洋酸化。你设想了这样一个场景：机器能够解决由气候变化导致的海洋酸化问题。不过这里有一个很大的“但是”。你能告诉我们，让人工智能去完成一项特定工作时，问题出在哪里吗？
当你让一个人给你拿杯咖啡时，你并不是要把这当成他毕生的使命，也不是说宇宙中其他事情都无关紧要，即使他得杀掉星巴克里的所有人才能做到。
斯图尔特：所以，让人去做某件事和把这件事设为人工智能系统的目标，两者有很大区别。当你让一个人给你拿杯咖啡时，你并不是要把这当成他毕生的使命，也不是说宇宙中其他事情都无关紧要，即使他得在星巴克关门前杀掉所有人才能把咖啡拿给你。你不是这个意思。当然，其他所有我们共同在乎的事情也应该影响他的行为。
如果我们构建的系统知道自己并不清楚目标是什么，它们就会开始表现出这样的行为，比如在清除大气中的所有氧气之前先征求许可。
我们现在构建人工智能系统的方式有个问题：我们给它们设定固定目标。算法要求我们把目标中的所有内容都明确规定下来。如果你说：“我们能解决海洋酸化问题吗？”是的，你可以设计一种极其高效的催化反应来解决它，但它会消耗大气中四分之一的氧气，这显然会导致我们在几个小时内缓慢而痛苦地死去。那我们该如何避免这个问题？你可能会说：“好吧，那就更仔细地规定目标，对吧？别忘了大气中的氧气。”然后当然，反应可能会产生副作用，把所有鱼都毒死。好吧，我的意思是也别杀鱼。那海藻呢？好吧，别做任何会导致所有海藻死掉的事——如此等等。对吧？我们不需要对人类这样做，是因为人类往往知道自己不了解我们在乎的所有事情。因此，他们可能会回来询问。比如你让一个人去给你买杯咖啡，而你碰巧在巴黎的乔治五世酒店，我记得那里的咖啡一杯要13欧元，那么他完全可以回来问：“嗯，要13欧元。你确定吗？或者我可以去隔壁买一杯便宜得多的。”对吧？这是因为你可能不知道自己对咖啡价格的敏感程度，也不知道自己是否愿意花那么多钱。人这样询问再正常不过——比如“我要重新粉刷你的房子，可以拆下排水管再装回去吗？”我们不觉得这是什么特别高深的能力，但人工智能系统没有这种能力，因为按照我们现在构建它们的方式，它们必须知道完整的目标。
对人工智能系统的控制，来自机器对真正目标是什么的不确定性
而在我那本《人类兼容》书中，正如凯提到的，核心观点是：如果我们构建的系统知道自己并不清楚目标是什么，它们就会开始表现出这样的行为，比如在清除大气中的所有氧气之前先征求许可。它们之所以这样做，是因为这会改变世界，而算法可能不知道我们喜欢还是不喜欢这种改变。因此，它有动力询问，因为它想避免做任何不受欢迎的事。这样一来，行为就会更稳健、更可控。在极端情况下，如果我们想关掉机器，它实际上会希望被关掉，因为它想避免做任何令我们不快的事。它想避免这种事。它不知道自己做了哪件事惹我们不快，但它想避免那件事。所以，如果我们想关掉它，它就希望我们关掉它。从这些意义上说，对人工智能系统的控制来自机器对真正目标是什么的不确定性。当你制造的机器确信自己知道目标是什么时，就会出现某种精神病态行为。我认为人类身上也有同样的现象。
凯：这对我们刚才谈到的那些基础算法有帮助吗？那些引导我们走上激进化道路的基础算法。还是说这只适用于通用人工智能？
斯图尔特：不，这在任何地方都适用。我们实际上一直在按照这些思路构建算法。你可以把它设定为一个形式化的数学问题。我们称之为“协助博弈”——这里的“博弈”指博弈论中的博弈，也就是涉及多个主体的决策问题。机器和人类通过对人类目标的不确定性联系在一起。你可以求解这些协助博弈，运用数学推导出能给出解决方案的算法，然后看看解决方案：“哎，它征求了许可”；或者，方案中的人类部分实际上希望教会机器，因为它想确保机器理解人类偏好，从而避免犯错。
对于社交媒体来说，这可能是最难的问题，因为它不只是做了我们不喜欢的事情，还在改变我们的偏好。你可以把这看作任何试图满足人类偏好的人工智能系统的一种失效模式——听起来这是件很合理的事。满足偏好的一种方式，是改变偏好，让它们已经得到满足。我认为政客很擅长这么做。我们不希望人工智能系统这样做。但这确实是一个棘手的问题，因为并非所有社交媒体用户都讨厌自己，对吧？他们并不讨厌自己。他们不会坐在那里说：“你怎么敢把我变成一个狂热的新法西斯主义者？”对吧？他们认为自己新形成的新法西斯主义才是正确的，而之前的自己只是受了蒙蔽。这就触及当代道德哲学中最难的一些问题。一个人的偏好随时间变化时，你该如何代表他行事？你是代表现在这个人，还是未来的那个人？到底是哪一个？这个问题没有好的答案。我认为这说明我们对道德哲学的理解还存在空白。从这个意义上说，社交媒体上正在发生的事情真的很难厘清。
不过，我认为我会建议的一点是，社交媒体平台只需改变一下思维方式。不要只想着“我们怎样创造收入”，而要想想：用户在乎什么？他们希望未来是什么样子？他们希望自己成为什么样的人？如果我们不知道——我认为答案是我们确实不知道——毕竟我们有数十亿用户，他们各不相同，偏好也各不相同。我们不知道他们的偏好是什么。那就想想如何设计这样的系统：一开始对用户的真实偏好非常不确定，并努力了解更多，同时尊重这些偏好。最难的地方在于，你不能说“绝不触碰用户的偏好，无论如何都不允许改变用户的偏好”，因为光是阅读《金融时报》就会改变你的偏好。你会变得更有见识，了解各种不同观点，然后成为一个不同的人。我们也希望人们随着时间推移成为不同的人。我们不希望永远像新生儿一样。但我们没有很好的办法判断，把一个人变成另一个新的人，这个过程是否有益。我们认为大学教育是好的，环球旅行也是好的。这些经历通常会让人变得更好；而洗脑不好，加入邪教不好，邪教对人所做的事情不好，等等。但社交媒体正在发生的事情，恰好处于我们不知道如何回答这些问题的领域。因此，我们确实需要道德哲学家和其他思想者的帮助。
罗宾：你之前引用凯恩斯的话说，当机器替我们做完所有工作时，人类就能培养这种能力——在富足的时代过上尽可能充实的生活。当然，他写这番话时，还没有人人在闲暇时间刷社交媒体。
斯图尔特：有一个有趣的故事，是E.M.福斯特写的。福斯特通常写英国上流社会和维多利亚时代道德衰落的小说。但他在1909年写过一篇科幻小说，名为《机器停止》我强烈推荐这篇作品。故事里所有人都完全依赖机器。他们用电子邮件，也被邮件积压困扰。他们经常视频会议，或者开Zoom会议。他们有iPad。
罗宾：E.M.福斯特怎么可能写到iPad？
斯图尔特：没错。他把它称为“视频碟片”，但你知道，那完全就是iPad。然后，人们因为不锻炼、总是盯着屏幕上的电子邮件而变得肥胖。这个故事真正讲的是：如果你把文明的管理交给机器，你就会失去亲自理解文明的动力，也会失去教导下一代理解文明的动力。
而且你也可以把《机器人总动员》看作《机器停止》在这种情况下，每个人都会因机器而变得虚弱、幼稚，因为我们失去了真正理解并管理自身文明的动力。直到现在，这还不可能，对吧？我们把文明的大量内容写进了书里，但书无法替我们运转文明。因此，我们始终必须教导下一代。算一算，这是一条绵延不断的传承链，涉及约一万亿人年（人们教与学的时间），可以追溯到数万代以前。如果这条链断了，会发生什么？我认为，这正是这个故事要讲的。而随着人工智能不断发展，我们必须亲自弄明白这一点。
Robin：不过，从乐观的一面看，如今这一代人触手可及的知识与智慧，是我们30年前所没有的。比如，我想读威廉·莎士比亚的诗，不必去图书馆或书店——就在眼前；想听交响乐，或学习弹钢琴，也一样。我很羡慕那些比我年轻30岁的人，因为只要他们不选择变成《机器人总动员》里的瓦力，就能接触到所有这些知识。
Stuart：他们从没听说过威廉·莎士比亚或莫扎特，却能说出所有电子游戏里每个角色的名字。所以，我想这又回到了我们先前讨论的话题：我们需要思考教育体系应该是什么样的。即便你只认同凯恩斯的观点——他对未来的乐观看法并不包括建立在人与人服务之上的经济，而是人们过着幸福的生活，也许有很多自愿互动，形成某种非经济体系——他仍然认为，我们需要弄清楚如何教育人们成功地过这样的生活。我们当前的体系做不到这一点，也不是为此而设的。它实际上是在教育人们承担各种不同的经济职能；有人认为，这种体系是为维多利亚时代晚期的英国文官体系设计的。那该怎么做呢？我们对此经验不多，所以必须学习。
Kay：你谈过一些为了控制通用人工智能我们需要采取的措施。我们也谈了这些措施如何适用于当今的社交媒体。阿西莫夫提出了机器人三定律，而我认为你也提出了自己的三项原则，并希望——也正在检验——它们能确保所有人工智能都把我们人类放在首位。
Robin：Stuart，在你回答之前，我能不能先提醒听众一下三定律是什么？我刚刚打开人工智能版维基百科查了一下。这些定律出自科幻作家艾萨克·阿西莫夫。第一定律：机器人不得伤害人类，或因不作为而使人类受到伤害。第二定律：机器人必须服从人类下达的命令，但命令与第一定律相冲突时除外。第三定律：只要不与第一或第二定律冲突，机器人就必须保护自身的存在。那么，Stuart，你沿着这个思路提出了什么原则？
Stuart：我提出了三项原则，算是向阿西莫夫致敬。但阿西莫夫故事里的规则，是机器人算法不断查阅的定律，机器人据此决定该做什么。我在书中提出的三项原则，则是为人工智能研究人员提供指引，帮助他们设定算法要解决的数学问题。
这三项原则是：第一，所有机器的唯一目标，是满足人类偏好。“偏好”实际上是经济学中的一个术语。它不只是指你喜欢哪种披萨，或你投票支持谁；它真正指的是，对于所有可能的未来，你如何排列它们的优先次序，其中涉及所有重要之事。这是个极其庞大、复杂、抽象的概念，大部分内容即使你努力尝试，也无法明确表达出来；有些内容甚至是你自己也不知道的。因为我确实不知道，自己吃了榴莲会不会喜欢。有些人非常喜欢，有些人则觉得极其难吃。我不知道自己属于哪一类，所以确实没法告诉你，我是否喜欢每天都吃榴莲的未来。第一项原则就是这样，对吧？我们希望机器能满足人类偏好。
第二项原则是，机器并不知道这些偏好是什么。因此，它对人类偏好一开始就存在不确定性。我们已经谈到，这种谦逊使我们能够保有控制权。某种意义上，它让机器对人类保持顺从。
第三项原则实际上是为前两项原则中的“偏好”概念奠定基础，它指出，人类行为是了解人类偏好的证据来源。这可以稍作展开。基本模型是：人类对未来有这些偏好，而这些偏好促使我们做出各种选择。行为包括我们所做的一切、没有做的一切——说话、不说话、坐着、读邮件的同时看这堂课或这次访谈，等等。当我们把这些原则转化为数学问题时，这就是我们所说的“协助博弈”。
可以说：“保证不造成伤害。”但如果一辆自动驾驶汽车遵循阿西莫夫第一定律，它就永远不会驶出车库。
所以，我们的原则与阿西莫夫的原则存在显著差异。我认为，阿西莫夫原则的某些方面有所体现，因为“不让人类受到伤害”这一理念，我认为可以转化为“满足人类偏好”。伤害可以说是偏好的反面，因此就是“满足人类偏好”。但阿西莫夫原则的措辞，实际上反映了一种在20世纪50年代和60年代以前相当普遍的思维方式：不确定性并没有那么重要。所以你可以说：“保证不造成伤害”，对吧？但想想看：如果自动驾驶汽车遵循阿西莫夫第一定律，它永远不会驶上高速公路，因为在高速公路上无法保证安全——这根本做不到，因为别人随时可能从侧面撞上你，把你撞扁。因此，你必须考虑世界的不确定性、其他行动者将如何行动，以及你自己的感官无法为你提供关于世界状态的完整且准确的信息。世界各处都充满不确定性。比如，我的车在哪里？我看不到车。我坐在家里，它应该在楼下某处，但我不确定它还在那里。我们谈话期间，可能已经有人把它偷走了。世上几乎所有事情都有不确定性，做决策时必须把这一点考虑进去。
第三定律说，只要不与前两条定律冲突，机器人就需要维持自身存在。在新的框架下，这完全没有必要，因为如果机器人对人类有用，换句话说，如果它能帮助我们满足偏好，这就是它继续存在的理由；否则就没有理由了。如果它对我们毫无用处，或者继续存在会伤害我们，那它绝对应该自行销毁。
如果你看过电影《星际穿越》，那么从人工智能的角度来看，它对人工智能的描绘最准确、最合理。片中的机器人之一TARS，因为它的质量似乎会以某种方式给黑洞带来问题，于是选择自我牺牲。我记得它说：“好吧，我要进入黑洞，让人类逃出去。”它对此毫不介意，而人类却非常难过，说：“不，不，不。”这是因为他们大概是受阿西莫夫影响长大的。他们应该明白，这样做其实完全合理。
Kay：我非常希望邀请你来参加我们的播客，能让所有听众更了解人工智能，因为我们在媒体等渠道看到的关于人工智能的说法，有很多都是错误的。你刚刚发表了声望很高的BBC里斯讲座，也通过自己的工作影响了很多人。我知道这个问题很难回答，但你最希望听众记住有关人工智能的哪一点？
人工智能是一种技术。它本身没有善恶之分。如何选择取决于我们。
Stuart：正如我们从商务备忘录中知道的，总是有三点。这里我想传达三点。第一，人工智能是一种技术。它本身没有善恶之分。如何选择取决于我们，对吧？我们可以善用它，也可以滥用它。设计不当的人工智能系统会带来风险，尤其是那些追求定义错误的目标的系统。
我确实认为，我们长期以来对算法——不仅是人工智能系统，而是一般的算法——都放任不管。我想想看，曾有一段时期，药品也曾被放任不管，当时没有美国食品药品监督管理局（FDA）或其他机构监管药品，成千上万人因配方不当的药品、假药以及各种问题而死亡或受伤。最终，经过大约一个世纪，我们建立了药品监管体系。它的成本很高，但大多数人认为，建立这样的体系是件好事。算法领域离拥有类似的体系还差得很远，尽管这些算法对全球数十亿人的影响或许比药品更大，而且我认为，不能想当然地认为这种影响必然是好的。我认为各国政府现在开始意识到这一点，也在努力寻找监管办法，同时避免因限制过严而把事情搞砸。
算法正在对全球数十亿人产生巨大影响，我认为不能想当然地认为这种影响必然是好的
第二点，我知道我们已经相当多地谈到了反乌托邦式的结局，但人工智能的潜在益处巨大，对吧？回到凯恩斯的话题：是的，它确实有可能让我们过上睿智、和谐而美好的生活，使我们摆脱贯穿整个人类历史的生存斗争。
直到现在，我们别无选择。你知道，我们必须起床，否则就会饿死。未来，我们将有选择。我希望我们不会选择一直躺在床上，而是会有其他理由让我们起床，从而真正过上丰富、有趣、充实的生活。这是凯恩斯思考、预测并期待的未来，但它不会自动实现。即使黄金时代到来，也可能出现各种反乌托邦式的结局。
第三点是，不管电影怎么说，机器变得有意识、决定憎恨人类并想杀死我们，这种情形并不太可能发生。
在这里收听我们的所有播客。
加入世界经济论坛播客俱乐部Facebook 页面。
