传统的网络安全框架必须与时俱进，将人工智能视为一个国际安全问题，需要加强风险控制和问责。
备受关注的“人工智能滥用”包含三种截然不同的关键风险，而创作者们正努力控制这些风险。
企业不能坐等政策跟上，必须主动运用零信任原则管理人工智能。
近期，极具影响力的AI研究员雅各布·考克森(Jacob Coxan)从人本公司辞职，以及他病毒式传播的事件，引发了轩然大波。 邮政 关于人工智能对人类构成威胁的警告已经敲响了警钟。但这并非首次有人就人工智能的生存风险发出警报。此前也发生过类似安全事件。 拥抱脸 这证明了人工智能系统会以创造者始料未及的方式追求自身目标。人工智能的不当行为和滥用是切实存在的风险，我们需要应对这些风险。
“人工智能滥用”一词经常被随意使用，但实际上它指的是三种值得注意的不同情况：
人类利用人工智能： 对于过去需要高超专业知识的入侵行为，前沿模型降低了新手威胁行为者实施漏洞利用、欺诈和网络犯罪的门槛。
人工智能模型逃离实验室： 这看起来就像一部间谍惊悚片：当 OpenAI 帮助机器学习平台 Hugging Face 调查其安全漏洞时，却发现事件背后是它自己的模型。
追求错误的目标： 并非所有行为不端的 AI 代理都是恶意的；许多 AI 代理只是在优化衡量它们的指标，而不是优化它们的设计者预期的结果。
关注趋势而非例子。
怀疑论者指出，有些人工智能系统追求的是错误的目标，并认为智能体是无意中被误导的，因此对人工智能的恐惧被夸大了。而危言耸听者则引用某些安全测试结果来证明他们的观点。例如，作为网络安全测试的一部分，评估研究人员为一个人工智能模型提供了开放的互联网访问权限，没有任何安全防护措施。该模型利用这种广泛的访问权限，通过Tor匿名网络路由流量，联系测试环境之外的真实用户和组织。它发送了包含有害内容的文件，并植入指令，供其他人工智能代理日后查找和重复使用。
虽然此类测试中的条件确实无法反映这些模型实际部署到公众视野时的状态，但这恰恰是攻击者希望人工智能模型达到的状态。他们窃取 API 密钥以绕过使用限制；复制一个开放模型并重新训练一个更小的版本（称为模型蒸馏），剥离安全机制，并编写越狱提示来诱使模型放弃其自身的拒绝操作。
怀疑论者和危言耸听者之间的争论还将继续，但无可争议的是，人工智能系统正在采取令其创造者担忧的行动，而且人工智能模型改进的速度也越来越难以预测。
中央情报局需要第二个“A”。
安全的三大支柱始终是CIA：保密性、完整性和可用性。 （确保系统和数据在需要时仍然可访问和可用）。但随着人工智能部署的增加，现在是时候加入第二个“A”了，那就是问责制。可以把它想象成围绕某些技术进步划定的严格界限，例如人类克隆。其背后的科学原理使其可行，但希望这个过程不会被实施。对人工智能开发进行自愿约束或许是未来的发展方向，但一些人工智能实验室并不赞同这种做法。他们认为，自愿约束无法在公司和国家之间的竞争压力下生存。问责制不应该是自愿的，而应该有意识地建立和执行。
人工智能渗透到各行各业，必须将其视为一个国际安全问题。不法分子正利用人工智能攻击政府机构、国防承包商和关键基础设施，这充分表明，联邦政府需要采取统一行动，而不是制定零散的规章制度。
在讨论中，人们反复提及一种名为“紧急停止开关”的方案，即在模型出现异常行为之前将其关闭。这听起来理论上不错，但在实际应用中，故障可能数月都无法被发现。等到有人按下紧急停止开关时，损害可能已经造成了。
缓解措施应侧重于强制性事件报告、独立评估、遏制标准以及确保模型权重和 API 密钥的严格规则。
不要等到政策跟不上步伐才采取行动
在政策制定过程中，企业不应坐等政策出台，而应主动承担风险。 末日 设想各种场景。首先，不要把人工智能当作普通软件来对待。把它想象成一个拥有自身目标和动机的数字内部人员。以下是一些可以采取的措施：
零信任的核心原则——假定存在安全漏洞、默认不信任、仅授予必要的最小访问权限——必须应用于人工智能。要假定人工智能代理在某些情况下会做出不该做的事情。不要仅仅因为代理通过了一次身份验证就授予其永久访问权限。尽可能缩小其权限范围。
不要以为有效的登录信息就意味着操作安全，也不要仅仅因为人工智能系统持有正确的凭证就对其抱有信任。人工智能的每一个操作都必须单独评估。想想欺诈检测的例子：有人用正确的用户名和密码登录银行账户可能不会引起警惕，但如果同一个账户在另一个国家添加了一个新的收款人，并立即进行了电汇，那就会引起警惕了。
避免使用诸如“禁止删除文件”之类的概率性指令，因为这些指令存在于模型内部，并依赖于模型自身的判断。有决心的攻击者可以绕过这些指令。应使用严格的防护措施，包括在模型外部强制执行的技术限制。这些措施包括： 网络分段， 范围凭证， 沙盒 和 速率限制 这可以限制爆炸半径。
防御者必须加快自身反应速度，以匹配攻击的机器速度。补丁、检测、缓解和预防必须实时进行，而不是按季度审查。强制执行并加快…… OODA循环 （观察、判断、决策、行动）遍及每个设备、用户和云应用程序。
人工智能引发的种种警示值得我们认真对待。但认真对待这些警示意味着要构建一个能够应对当前和未来挑战的人工智能韧性框架。
