研究人员对数字版大富翁游戏做了改动，以帮助人工智能适应意外事件。
他们的做法是：每当玩家经过“起点”，不再发放200美元，而是向其征收财富税。
此类实验有望在更广泛的现实场景中提升人工智能的功能，例如对某人是否应获批信用卡进行复杂评估。
我和同事对数字版大富翁做了改动：玩家每次经过“起点”时，不再领取200美元，而是需要缴纳财富税。我们这样做并非为了获取优势或欺骗任何人，目的是对下棋的人工智能智能体抛出一个“变数”。
我们的目标是帮助智能体学会应对意外事件。迄今为止，人工智能在这方面一直表现欠佳。赋予人工智能这种适应能力，对于手术机器人等未来系统至关重要，手术机器人，对于当下即可决定谁应获得保释、谁应获批信用卡以及谁的简历能够通过筛选并交到招聘经理手中的算法同样重要。在上述任何一种情境中，若不能妥善应对意外情况，都可能带来灾难性后果。
人工智能智能体需要具备以类人方式察觉、刻画并适应新奇情境的能力。若某一情境直接或间接地挑战了智能体对外部世界的模型（其中包括其他智能体、环境以及它们之间的相互作用），则该情境即为新奇情境。
虽然大多数人并非总能以最完美的方式应对新奇情境，但他们能够从错误中学习并做出调整。在大富翁中遭遇财富税时，人类玩家可能会意识到，在接近“起点”时就应备好现金以应对税务局的征税。而一个执意大举收购地产和垄断的人工智能玩家，可能无法及时权衡现金与非流动资产之间的适当比例，直到为时已晚。
在开放世界中适应新奇情境
强化学习是“超人类”游戏人工智能智能体以及自动驾驶汽车等应用背后的主要技术领域。强化学习利用奖励与惩罚机制，使人工智能智能体能够通过反复试错进行学习。它是更大的机器学习人工智能领域的一部分。
机器学习中的“学习”意味着此类系统已能够应对有限类型的新奇情境。机器学习系统通常能够很好地处理与其原始训练数据在统计上相似但并不完全相同的输入数据。在实践中，只要不太可能发生过于意外的情况，违背这一条件是可以接受的。
此类系统在开放世界中可能会遇到麻烦。正如其名称所示，开放世界无法被完整、明确地定义。意外情况可能会发生，而且确实会发生。最重要的是，现实世界正是一个开放世界。
然而，“超人类”人工智能并非为应对开放世界中高度意外的情境而设计。原因之一或许在于现代强化学习本身的应用，它最终导致人工智能针对其训练时所处的特定环境进行优化。而在现实生活中，并不存在这样的保证。为现实生活而构建的人工智能，必须能够适应开放世界中的新奇情境。
将新奇性作为首要考量
回到大富翁，设想某些地产受租金保护。一名优秀的玩家，无论是人类还是人工智能，都会认识到这些地产相较于能够带来更高租金的地产而言是糟糕的投资，因而不会购买。然而，一个从未遇到过这种情况或类似情况的人工智能，很可能需要进行大量对局才能适应。
在计算机科学家甚至开始探讨如何构建此类“新奇适应型”智能体之前，他们需要一套严谨的评估方法。传统上，大多数人工智能系统由开发它们的同一批人进行测试。竞赛更为公正，但迄今为止，尚无任何竞赛在情境意外到连系统设计者都无法预见的条件下评估过人工智能系统。这种评估是测试人工智能新奇性适应能力的黄金标准，类似于评估药物的随机对照试验。
2019年，美国国防高级研究计划局启动了一项名为开放世界新奇性人工智能与学习科学（简称SAIL-ON）的项目。该项目目前正在资助众多研究团队，包括我在南加州大学的团队，开展开放世界中新奇性适应的研究。
该项目的创新之处之一在于：一个团队要么开发能够处理新奇情境的人工智能智能体，要么设计用于评估此类智能体的开放世界环境，但二者不可兼得。构建开放世界环境的团队还必须对该环境中的新奇性进行理论化。他们通过开发新奇性生成器来检验自己的理论，并评估另一组团队构建的智能体。这些生成器可用于向环境中注入意外元素。
在SAIL-ON项目下，我和同事最近开发了一款名为开放世界多智能体环境中的新奇性生成（简称GNOME）的模拟器。GNOME旨在测试人工智能在能够反映现实世界要素的战略棋盘游戏中的新奇性适应能力。
我们首个版本的GNOME采用经典棋盘游戏大富翁。我们近期在一场展示了基于大富翁的GNOME，地点是顶级机器学习会议。我们允许参与者注入新奇元素，并亲自观察预先编程的人工智能智能体的表现。例如，GNOME可以引入前文提到的财富税或租金保护“新奇情境”，并在规则变更后对人工智能进行评估。
通过比较规则变更前后人工智能的表现，GNOME可以量化新奇情境使人工智能偏离正轨的程度。如果GNOME发现，在引入新奇情境之前，人工智能赢得了80%的对局，而现在仅赢得25%，则会将该人工智能标记为仍有很大提升空间。
未来：新奇性科学？
GNOME已被用于评估由同一DARPA项目资助的另外三个独立机构所构建的新奇性适应型人工智能智能体。我们还基于扑克以及与“海战棋”相似的“战争游戏”构建了GNOME。在来年，我们还将探索适用于其他战略棋盘游戏（如“风险”和“卡坦岛”）的GNOME。预计这项研究将推动人工智能智能体在不同场景中具备应对新奇情境的能力。海战棋。风险和卡坦岛。
将新奇性作为现代人工智能研究与评估的核心重点，其副产品是形成了一批初步研究成果，为新奇性科学提供支持。不仅像我们这样的研究人员在探索新奇性的定义与理论，我们还在探讨可能产生根本性影响的问题。例如，我们的团队正在研究：在何种情况下，某一新奇情境预计会对人工智能构成极其困难的挑战。在现实世界中，如果出现此类情境，人工智能将识别该情境并呼叫人类操作员。
在寻求这些及其他问题的答案的过程中，计算机科学家目前正努力使人工智能能够对意外情况作出恰当反应，包括应对黑天鹅事件，例如新冠疫情。或许，人工智能不仅能够在现有游戏中击败人类，还能迅速适应人类所能想象的任何版本的游戏，这一天已为期不远。它甚至可能具备适应当今我们无法设想情境的能力。
