该机器人借助演绎推理辨别敌友，从而在某些在线游戏中确保战胜人类。
麻省理工学院的研究人员开发了一款配备人工智能的机器人，它能在玩家角色和动机保密的复杂在线多人游戏中击败人类玩家。
许多游戏机器人的开发目标是与人类玩家一较高下。今年早些时候，卡内基梅隆大学的一个团队开发出全球首个能在多人扑克中击败职业选手的机器人。DeepMind 的 AlphaGo 于 2016 年击败职业围棋选手，一时成为新闻焦点。此外，还有多个机器人被开发出来，用于击败职业国际象棋选手，或在网络夺旗等合作类游戏中协同作战。然而，在这些游戏中，机器人从一开始就清楚对手和队友是谁。
下个月，在神经信息处理系统大会上，研究人员将展示 DeepRole——首款能在多人在线游戏中获胜的游戏机器人，这类游戏中参与者的阵营归属起初并不明确。该机器人在一种通常用于扑克博弈的人工智能算法中加入了新颖的“演绎推理”机制。这使其能够对部分可观测的行为进行推理，从而判断某位玩家是队友还是对手。如此一来，它能迅速学会该与谁结盟，以及采取哪些行动来确保团队获胜。
研究人员让 DeepRole 与人类玩家在在线游戏《阿瓦隆：抵抗者》中进行了超过 4000 轮的对决。在这款游戏中，玩家需要在游戏进程中推断同伴的秘密身份，同时隐藏自己的身份。无论是作为队友还是对手，DeepRole 的表现始终优于人类玩家。
“如果你用机器人替换人类队友，你的团队获胜率就有望提高。机器人是更好的伙伴。”第一作者杰克·塞里诺（Jack Serrino，2018 届）表示。他在麻省理工学院主修电气工程与计算机科学，并且是《阿瓦隆》的资深在线玩家。
这项工作是一个更广泛项目的一部分，该项目旨在更好地建模人类如何做出基于社会信息的决策。这样做有助于打造能更好地理解人类、向人类学习并与人类协作的机器人。
“人类通过向他人学习并与他人合作，从而共同实现个人无法独自完成的目标。”合著者、麻省理工学院与哈佛大学大脑、思维与机器中心及脑与认知科学系的博士后研究员马克斯·克莱曼-韦纳（Max Kleiman-Weiner）表示。“《阿瓦隆》这类游戏能更好地模拟人类在日常生活中所经历的动态社交环境。你必须弄清谁在你的团队中、谁会与你合作，无论这是你幼儿园的第一天，还是办公室里普通的一天。”
与塞里诺和克莱曼-韦纳共同参与该论文的还有哈佛大学的戴维·C·帕克斯（David C. Parkes），以及麻省理工学院计算机科学与人工智能实验室和大脑、思维与机器中心成员、计算认知科学教授约书亚·B·特南鲍姆（Joshua B. Tenenbaum）。
演绎机器人
在《阿瓦隆》中，三名玩家被随机且秘密地分配到“抵抗者”阵营，两名玩家被分配到“间谍”阵营。两名间谍玩家都知道所有玩家的身份。每一轮中，一名玩家提议由两至三名玩家组成一个小组执行任务。所有玩家同时公开投票，表示赞成或反对该小组。若多数人赞成，该小组将秘密决定任务成功或失败。若被选出的两张牌为“成功”，任务即告成功；若被选出的牌中有一张为“失败”，任务即告失败。抵抗者玩家必须始终选择“成功”，而间谍玩家则可以选择任一结果。抵抗者阵营在成功完成三次任务后获胜；间谍阵营则在任务失败三次后获胜。
赢得游戏基本上取决于能否推断谁是抵抗者或间谍，并为你的合作者投票。但实际上，这比下国际象棋和扑克的计算复杂度更高。“这是一个信息不完全的游戏，”克莱曼-韦纳说，“游戏一开始，你甚至不确定自己在与谁对抗，因此还需要一个额外的探索阶段，去找出该与谁合作。”
DeepRole 采用一种名为“反事实遗憾最小化”（CFR）的博弈规划算法——该算法通过反复与自己对弈来学习下棋——并辅以演绎推理。在游戏的每个节点，CFR 会向前推演，构建一棵决策“博弈树”，由分支和节点组成，用于描述每位玩家潜在的未来行动。博弈树表示每位玩家在每个未来决策点可采取的所有可能行动（分支）。在推演可能多达数十亿次的游戏模拟过程中，CFR 会记录哪些行动增加或降低了其获胜几率，并迭代修正其策略，以纳入更多优质决策。最终，它会规划出一种最优策略，该策略在最不利的情况下，也至少能与任何对手打成平手。
CFR 在扑克等具有公开行动的游戏（如下注和弃牌）中表现良好，但当行动是秘密进行时，它便难以应对。研究人员改良后的 CFR 将公开行动与非公开行动的后果结合起来，以判断玩家是抵抗者还是间谍。
该机器人通过同时扮演抵抗者和间谍与自己对弈来进行训练。在参与在线游戏时，它利用博弈树来估计每位玩家将要采取的行动。博弈树代表一种策略，能使每位玩家在被分配的角色下获胜的可能性最大。博弈树的节点包含“反事实价值”，这基本上是对某位玩家若采用该策略所能获得收益的估计。
在每次任务中，机器人都会将每个人的行为与博弈树进行比较。如果在整个游戏过程中，某位玩家做出了足够多与机器人预期不符的决策，那么该玩家很可能扮演的是另一方角色。最终，机器人会为每位玩家的身份赋予较高的概率。这些概率随后被用于更新机器人的策略，以提高其获胜几率。
与此同时，它还运用同样的技术来估计第三方观察者会如何解读它自身的行为。这有助于它推测其他玩家可能作出的反应，从而做出更明智的决策。“如果在一次双人任务中任务失败，其他玩家就会知道其中一人是间谍。机器人可能不会在之后的任务中再次提议同一组队友，因为它知道其他玩家认为它的表现不佳。”塞里诺说。
语言：下一个前沿
有趣的是，该机器人无需与其他玩家沟通，而沟通通常是这类游戏的关键组成部分。《阿瓦隆》允许玩家在游戏过程中通过文字模块进行聊天。“但事实证明，我们的机器人仅通过观察玩家的行动，就能与其他人类组成的团队良好配合。”克莱曼-韦纳说，“这很有意思，因为人们可能认为这类游戏需要复杂的沟通策略。”
“这篇论文发表时，我非常兴奋，”阿尔伯塔大学教授迈克尔·鲍林（Michael Bowling）说，他的部分研究聚焦于训练计算机玩游戏。“看到 DeepStack 中的理念在扑克之外得到更广泛的应用，真是令人振奋。[DeepStack] 在国际象棋和围棋中对人工智能至关重要，并已应用于信息不完全的情境。但我仍未料到，它会如此迅速地被扩展到像《阿瓦隆》这样的隐藏身份游戏中。能够应对社交推理场景——这一场景极具人性特征——是非常重要的一步。仍有大量工作有待完成，尤其是当社交互动更加开放时，但我们持续看到，许多采用自我对弈学习的基础人工智能算法能够发挥很大作用。”
接下来，研究人员可能会让该机器人在游戏中通过简单文字进行沟通，例如表明某位玩家是好人或坏人。这将涉及把文字与玩家属于抵抗者或间谍的相关概率对应起来，而机器人已在使用该概率来做出决策。除此之外，未来的机器人还可能配备更复杂的沟通能力，使其能够参与以语言为主的社交推理游戏，例如流行游戏《狼人杀》——这类游戏往往需要玩家用数分钟时间辩论并说服其他玩家，判断谁属于好人阵营、谁属于坏人阵营。
“语言无疑是下一个前沿，”塞里诺说，“但在这些游戏中，沟通至关重要，要攻克的挑战还有很多。”
