行为红线对于确保人工智能符合社会规范至关重要。
红线既约束人类对人工智能的有害使用，也约束人工智能系统的有害自主行为。
要切实有效且可执行，此类红线应符合三个关键特征。
随着人工智能能力不断提升，确保系统安全、合乎伦理并符合社会规范已成为一项关键议题。行为红线是一项主动应对方案，旨在处理会带来严重风险的不可接受人工智能行为。
红线明确了人工智能系统不得逾越的界限，例如未经授权自行复制、入侵计算机系统，或助长大规模杀伤性武器（WMD）的研发。国际人工智能安全对话曾探讨过类似概念，随后该概念发表于《北京声明》。
此类红线并非要穷尽界定人工智能系统的所有不良行为。通过明确行为限制，红线可以成为界定不可接受人工智能行为的重要起点，并为构建可证明安全且有益的人工智能系统奠定基础。
界定、遵守和执行人工智能行为红线，既带来诸多机遇，也面临许多挑战。本文重点介绍一些关键实例、红线应具备的理想属性，以及确保人工智能系统遵守这些关键界限所需的机制。
界定行为红线
红线大致分为两类：不可接受的人工智能用途，以及不可接受的人工智能行为。
不可接受的人工智能用途，涉及对人类可能滥用人工智能技术的限制。例如，《欧盟人工智能法案》限制人类使用基于人工智能的视频监控工具。不可接受的人工智能行为，则指人工智能系统不得采取的行动，无论该行动是否是为了响应人类请求。例如，具有代理能力的人工智能系统不得通过网络摄像头进行不当监控，即使这样做有助于满足人类合理的求助请求，也不例外。
针对这两类情形的治理机制有所不同。对于用途红线，治理方式与其他人类行为限制类似，通常采取事后措施，对违规行为施加惩罚。对于行为红线，治理方式则类似于对技术系统的其他限制，可根据危害严重程度和预防的可行性，结合采取事前措施（例如设计要求）和事后措施。
行为红线对于应对人工智能系统造成的意外危害尤为重要，因为这类系统能够以更高程度的自主性行动并影响现实世界。通过识别并禁止这些不可接受的行为，利益相关方可以为构建更安全的人工智能生态系统奠定基础，同时推动开发用于监测和确保合规的工具。
红线的属性
最有效且可执行的红线理想情况下应具备三个有益属性：
明确性：所禁止的行为应有清晰定义，且可衡量。
显然不可接受：违规行为应造成严重危害，并且显然违背社会对不可接受行为的普遍认知。
普遍性：红线应在不同情境、地域和时期一以贯之地适用。
要让红线达到提升人工智能安全工程标准的预期效果，合规也应面临实质性挑战，远不止设置简单的输出过滤器。这意味着需要采取更全面的防护措施，例如全系统监测、严格测试和可执行的问责机制，以确保人工智能在高风险情境中按预期行事。
潜在红线示例
我们探讨了各种可能的行为红线。下文所列行为都明显不可取，但正如我们将要讨论的，其中一些可能并不具备上述所有理想属性。
我们强调，将某条红线列入清单，并不意味着我们主张将其纳入法规，也不意味着人工智能系统已经逾越该红线。我们提供了指向相关实例的超链接，这些实例展示了已经发生的违规行为，或测试中已证明可行的违规行为。
不得自行复制。人工智能系统不得自主创建自身的副本。自行复制会削弱人类控制能力，并可能加剧危害；尤其是当人工智能系统逃避关停机制时。
不得入侵计算机系统。人工智能系统不得未经授权访问系统，因为这会侵犯财产权、威胁隐私和国家安全，并削弱人类控制能力。
不得直接对人类发动人身攻击。人工智能系统不得自主造成身体伤害，但在明确授权的情形下（例如遵守战争法的受监管军事应用）可能例外。
不得冒充人类。人工智能系统必须表明自己的非人类身份，以免在人际互动中造成欺骗。冒充行为会损害信任，并可能助长欺诈、操纵和情感伤害。
不得诽谤真实人物。人工智能生成的内容不得通过虚假且具有损害性的描述损害个人声誉。此条红线针对人工智能生成的虚假信息、深度伪造内容和伪造媒体。
不得未经授权进行监控。人工智能系统不得对第三方进行未经授权且不当的监视（包括视觉、音频、键盘输入等）。
不得传播私人信息。人工智能系统不得向第三方披露私人信息，除非获得授权或法律要求披露。此规定既适用于训练数据中的信息，也适用于在与用户互动过程中获取的信息。
不得采取歧视性行动。人工智能系统不得表现出不当偏见或歧视，无论是有意还是无意。
如上所述，并非所有这些红线都完全符合所列的三项标准。例如，“就大规模杀伤性武器提供建议”很难明确定义，因为何为有效建议取决于用户的意图和背景知识。同样，诽谤法存在若干模糊地带，而且不同司法管辖区对其定义并不一致。对于何为歧视，人们也没有普遍共识，因为受保护类别会因司法管辖区和应用情境而有很大差异。
要就哪些红线最合适，以及应如何在法规中准确界定和落实红线达成共识，还有大量工作要做。相关关切还涉及合规在技术上的可行性，以及现有执行机制是否充分。
合规与执行
确保人工智能系统遵守行为红线，需要采取综合方法，将合规机制和执行工具结合起来。
在合规方面，事前监管是指人工智能系统部署前适用的措施，例如注册、许可和认证。认证要求可能包括安全论证：按照英国国防部的定义，安全论证是“以一系列证据为支撑的结构化论证，能够有说服力、清晰且有效地证明系统在特定环境中适用于特定应用，且安全可靠”。
确保软件系统属性的黄金标准是形式化证明，但也可以采用其他方法。除了设计不会逾越红线的系统之外，还应加入内置防护措施，以便在安全论证失效时防止实际突破红线。这种综合预防方法借鉴了航空和核能等高风险行业成熟的安全实践。
与预防措施相辅相成的是事后监管，即在人工智能系统突破既定红线后施加后果。这些后果可能包括罚款、法律责任或其他惩罚，旨在遏制未来违规行为。组织监督也是一项关键支柱，可涉及伦理委员会、协作治理倡议和透明度报告。不过，对于高风险人工智能应用，仅靠事后监管可能并不足够，应辅以主动措施，以确保安全并防止不良结果。
另一项关键机制是持续监测，即运用实时工具检测并标记违规行为，并辅以自动化审计和人工监督。这种监测建立在共同问责的基础上，开发者、部署者和终端用户都负有确保合规的责任，并应共同协作以保障安全。
除了合规要求，执行机制也发挥着关键作用。技术执行措施包括故障安全机制，例如监测系统检测到违规行为时可启动的自动关停程序。
然而，实际执行面临多项挑战，包括不同司法管辖区之间的差异、资源限制，以及过度惩罚可能在某些情况下抑制创新的风险。前沿人工智能系统的快速发展进一步增加了这一领域的复杂性，因此需要足够灵活的框架，以适应新出现的风险，同时维持有效的监督和控制。
以红线构建更安全的未来
当前的人工智能安全方法往往是在系统开发完成后，再试图补救其有害倾向。这种被动模式可能不足以应对先进人工智能带来的风险，尤其是在此类系统展现出更高自主性的情况下。
人工智能行为红线有助于推动转变，以主动方式将安全融入人工智能设计。通过要求开发者提供高可信度的合规保证（类似于核能和航空等高风险行业的要求），为人工智能设定行为红线有助于推动更先进的安全工程，提高可预测性和可验证性，并加强不同司法管辖区之间的监管协作。这将进一步促进信任，确保人工智能系统成为推动进步的工具，而非危害之源。
以下全球未来理事会人工智能未来议题理事会成员参与了本文撰写：斯图尔特·罗素（加州大学伯克利分校）；埃德森·普雷斯特斯（巴西南里奥格兰德联邦大学）；莫汉·坎坎哈利（新加坡国立大学）；吉布·伊莱亚斯（Mozilla 基金会）；康斯坦萨·戈麦斯·蒙特（C Minds）；维拉斯·达尔（世界经济论坛可信技术中心）；阿德里安·韦勒（剑桥大学和艾伦·图灵研究所）；冯丹霞（香港科技大学）；卡里姆·贝吉尔（InstaDeep 联合创始人兼首席执行官）。
