《世界经济论坛《全球风险报告》》2018年版描绘了来年前景严峻的图景：民族主义抬头、地缘政治力量格局变化造成动荡，风险加剧，尤其是在网络领域。
这份报告提出了十种“未来冲击”情景。它们警示人们切勿自满，并提醒我们，风险可能以令人猝不及防的速度显现：“在一个复杂且相互关联的系统世界中，反馈回路、阈值效应和连锁扰动可能导致突然且剧烈的崩溃”。
其中一种情景“错综网络”，看似简单：它设想人工智能“杂草”不断蔓延、接管互联网并逐渐将其扼杀。这些杂草是失控的底层算法，逐渐扩散至整个网络基础设施，不断占据更多空间并消耗更多能源。
T.S.艾略特在其1925年的诗作《空心人》中写道，世界的终结不是伴随着轰然巨响，而是悄无声息。好消息是，AI杂草也不会让世界走向终结。它们不是《终结者》里的机器人。但秉承艾略特诗作的意旨，这些杂草表明，我们最应担心的并非灾难性事件，而是那些我们早已习以为常的公共资源正遭受缓慢而持续的侵蚀。
网络若遭受严重扰乱，将损害全球贸易和数据革命带来的希望，也会重创知识传播。它还可能加速互联网“巴尔干化”的趋势，因为各国政府会竖起高墙。试想，如果它渗入健康监测植入设备、空中交通管制网络和核电站操作系统，使所有运作陷入停顿，并导致计算机不断重启，会发生什么？这当然不是世界末日，而且甚至可能带来一些相关益处，但我们赖以生活的世界将发生重大变化。
杂草的根源
能够扼杀全球网络基础设施的算法是如何产生的？令人震惊的是，这甚至不需要恶意意图（这并不是说恶意意图不会成为问题——毫无疑问，不法分子会试图将AI武器化，我们也应为此做好准备）。《错综网络》提出，智能算法终有一天会失控演化，我们最好为此做好准备。
起初，对于“通用”算法的发展，我们不会感到担忧；此类算法已经用于优化计算机流程和清理系统。随着机器学习不断进步，这些算法不可避免地会获得越来越大的自主权，得以在各种领域运作，例如优化一体化供应链中的数据流。它们必须具备隐藏能力：否则它们怎么能在不干扰杀毒软件的情况下运行？它们还将具备自我复制的能力，就像特洛伊木马病毒已经做到的那样，并能够自主移动以访问复杂的数据集。它们终将获准修改自身的子程序及其所处环境，以实现目标。
到目前为止，这与当前的机器学习应用并没有太大区别。但如果把这些特性结合起来，实际上创造出的就是一个复杂的适应性系统：由自主代理组成的系统会自我复制，且常常产生变异，从而实现自我维持的演化——换句话说，这是一个模仿生命强大生存本能的系统。
转眼间，我们的计算机和所有联网设备都将充斥着算法，它们会像杂草一样迅速适应、四处移动，寻找新的方式来获取能源并占据生存空间。它们能够学习，并把学到的经验分享给其他算法。它们会发现并占据我们无法根除的空间。越来越多的内存和带宽将被堵塞。它们扎根得越深，就像老建筑上生长的杂草一样，造成的破坏就越大。
这与遗传算法不同，尽管后者也运用了演化原理。遗传算法针对特定领域，受到严格限制并按既定方向运行——与这些自主的AI“杂草”相去甚远。
只需出现少量编程错误或预测失误，自主系统就可能在互联网上四处游荡。随着机器学习的最新进展，以及能够编写代码的计算机和可将数千台机器联网的迁移学习的发展，我们或许离此只有几步之遥。如今，计算机已经常规执行预测分析或推测执行；赋予它们更多自主权只是顺理成章的发展。
无论是算法杂草的出现，还是网络基础设施遭遇其他全球性传染式扩散，“错综网络”都在提醒我们认识全球网络基础设施面临的系统性威胁，并思考如何减轻这些威胁。这个故事的核心是，机器学习和人工智能带来的潜在风险不是别人的问题：很快，它们就会成为我们的问题。
我们该如何应对？
许多专家认为，人工智能将以我们根本无法想象的方式改变未来，而且速度远超我们以往的经历。这将带来新的机遇，但也必然造成扰动。我们无法根除风险和危机：它们是推动创新的因素之一；以小规模、可控的方式发生时，实际上有助于增强韧性。因此，我们必须假设危机和严重扰动终将发生，并着手降低数字基础设施的脆弱性，同时提高其从危机中恢复的能力。这意味着要审视整个社会技术系统，包括人、关系和技术，以及连接并规范人与技术、人与更广泛环境之间关系的价值观、假设和既定程序。
有两组问题尤为突出：第一，如何应对网络基础设施的脆弱性；第二，如何在AI中建立必要的防护措施。
互联网——以及由此形成的整个联网设备世界——为何变得如此不安全？令人深思的是，这在很大程度上源于人们没有预见可能出现的问题。正如一位创始人所说，在设计网络时，“我们做的大多数事情都是针对问题作出回应，而不是预先考虑问题。”人们常说，大家都专注于网络通信的前景，安全问题大多只是事后才考虑。
数字经济当前的商业模式加剧了这一问题，并造就了高度脆弱的全球网络基础设施。现行激励机制鼓励企业尽可能快速、低成本地推出产品。结果是代码粗糙、程序错误百出却未经适当检查便发布，以及刻意写得晦涩难懂的用户许可协议，削弱消费者提起诉讼的能力，进而使企业逃避问责。这让我们暴露在各种风险之下，从网络犯罪、外国干预到灾难性故障，无一不有。
列出应该采取的措施并不难。我们需要更好地在计算机上落实基本的网络卫生措施。我们需要符合更高安全和伦理标准的产品。我们需要测试和认证制度。我们需要摆脱对免费获取数字内容和廉价数字设备的依赖，开始为提供更高质量标准的产品和服务付费。类似措施不胜枚举。
但其他政策领域已经表明，“应该”发生的事情与实际发生的事情之间存在巨大差距。归根结底，如果我们想把当前的“公地悲剧”——没有人愿意投资保护公共利益的局面——转变为数以百万计的个人决策能够各自独立地增强系统韧性的局面，就必须认真重新思考如何设定商业和行为激励机制。
立法与激励机制
无论我们是否喜欢，一个可用的杠杆是完善立法，正如越来越多的顶尖安全专家所呼吁的那样。
监管有许多缺点，人们往往有充分理由反对监管。设计不当的监管可能拖慢创新，潜在受益者可能是竞争国家。监管通常落后于技术创新，也可能造成扭曲的激励机制。人们普遍更青睐软性治理，例如伦理准则和其他自愿机制。但说到底，如果没有高额罚款或强制措施的威慑，自我监管根本不会发生，更不可能达到应对网络基础设施长期脆弱性所需的规模。
因此，问题变成了：我们需要怎样结合监管与软法治理？如何加强刑事问责？何种责任保险最能形成必要的激励？
在制定应对网络脆弱性的强制性和软性监管激励措施时，我们需要预见未来技术及其对塑造网络生态系统的作用。归根结底，我们还需要依靠技术本身，在可用性、安全性和有效性之间作出微妙权衡。人类专业知识的规模无法跟上这一挑战的速度和复杂程度。我们将越来越依赖于设计能够自主决策的智能网络，帮助我们的系统预防故障并从故障中恢复。
这就引出了第二个问题：我们愿意让“智能”机器拥有多少自主权，以及我们将如何追究算法的责任，尤其是在发生严重事故时？随着我们越来越依赖能够编写代码的代码，我们很快就会失去追踪算法如何作出决策的能力。当我们编写的代码与我们的价值观和利益发生冲突时，会出现什么情况？对于不断扩散的算法，我们真的会比对那些侵入花园、不断蔓延的植物拥有更多控制力吗？
紧急停止开关
因此，在审视新兴立法和软性治理工具的整体体系时，仅着眼于当下的技术还不够：我们需要预见如何与未来的技术共处。我们如何应对机器学习算法中的偏见、隐私、安全和可解释性等问题？在一个我们可能不再理解机器如何作出决策的世界里，如何界定刑事责任？如何利用责任保险建立必要的激励机制，让责任落在该承担的地方？如何界定最终责任由谁承担？怎样结合软性和强制性治理，才能确保自主技术配备紧急停止开关，以便在失控时远程禁用？
越来越多的运动呼吁制定伦理准则，并寻求更好的方式确保算法透明度，这是令人鼓舞的进展，例如联合国正在展开的讨论以及其他多边论坛上有关防止AI武器化，并加大对有助于最大限度发挥AI效益的研究投入的讨论。
但要让这些努力结出成果，我们还需要集体监测系统性风险，并在看似无关的发展共同造就可能引发失控效应、最终导致灾难性故障的条件时“串联线索”。正如AI伦理学家温德尔·华莱士所倡导的，对技术创新进行全面监测，有助于识别关键转折点。挑战在于确定具体该如何做到。
有一点我们可以确定：无论选择何种机制，我们数字未来的长期安全与可持续性都不是别人的问题；这是我们现在就必须面对的问题。
乔埃尔·詹妮是哈佛大学韦瑟黑德国际事务中心的助理研究员。作为高级外交官，她曾领导网络安全、军备控制和冲突预防方面的国际谈判。她是全球论坛国际安全理事会成员。她为《2018年全球风险报告》撰写了AI杂草情景“错综网络”。
