一个孩子看到一张包含各种形状的图片，并被要求找出大的红色圆形。为了得出答案，她需要经历几个推理步骤：首先，找出所有大的物体；其次，找出其中红色的大物体；最后，挑出既是大的红色物体又是圆形的那个。
我们通过推理来理解世界。神经网络也是如此。现在，麻省理工学院林肯实验室智能与决策技术小组的一支研究团队开发出一种神经网络，它能够执行类似人类的推理步骤，以回答有关图像内容的问题。该模型被命名为“透明化设计网络”（TbD-net），在解决问题的过程中以可视化方式呈现其思维过程，使人类分析人员能够理解其决策过程。该模型的表现优于当今最好的视觉推理神经网络。
长期以来，理解神经网络如何做出决策一直是人工智能（AI）研究人员面临的一项长期挑战。正如其名称中“神经”一词所示，神经网络是受大脑启发的人工智能系统，旨在复制人类的学习方式。它们由输入层和输出层组成，中间的各层将输入转换为正确的输出。一些深度神经网络已变得极其复杂，以至于几乎不可能追踪这一转换过程。这就是它们被称为“黑箱”系统的原因，即使是构建它们的工程师也无法看清其内部的具体运作。
借助TbD-net，开发人员旨在使这些内部运作过程变得透明。透明性之所以重要，是因为它使人类能够解读人工智能的结果。
例如，了解用于自动驾驶汽车的神经网络究竟如何区分行人和停车标志，以及它在推理链的哪一步看出这种区别，是十分重要的。这些洞察使研究人员能够教导神经网络纠正任何错误的假设。但TbD-net的开发人员表示，当今最好的神经网络缺乏有效机制，使人类无法理解其推理过程。
“视觉推理性能的提升是以牺牲可解释性为代价的，”与研究人员阿尔琼·马朱姆达尔、大卫·马沙卡和菲利普·陈共同开发TbD-net的莱恩·索克拉斯基说道。
林肯实验室团队借助TbD-net成功缩小了性能与可解释性之间的差距。该系统的一个关键在于一组“模块”，即专门用于执行特定子任务的小型神经网络。当被问及关于图像的视觉推理问题时，TbD-net会将问题分解为子任务，并分配适当的模块来完成其部分。就像装配线上的工人一样，每个模块都在前一个模块已得出的结果基础上继续工作，最终得出正确的答案。总体而言，TbD-net运用一种AI技术来解读人类语言问题并将句子拆分为子任务，随后运用多种计算机视觉AI技术来解读图像。
马朱姆达尔表示：“将复杂的推理链拆分为一系列较小的子问题，每个子问题都可以独立解决并加以组合，这是一种强大而直观的推理方式。”
每个模块的输出都以该团队所称的“注意力掩码”直观呈现。注意力掩码会在图像中的对象上显示热图色块，表示该模块识别为其答案的对象。这些可视化结果使人类分析人员能够看到模块如何解读图像。
以向TbD-net提出的以下问题为例：“在这张图像中，大型金属立方体是什么颜色？”为回答该问题，第一个模块仅定位大型物体，并生成突出显示这些大型物体的注意力掩码。下一个模块接收此输出，并找出上一模块识别为大型的物体中哪些也是金属材质。该模块的输出随后被传递至下一个模块，由其识别这些大型金属物体中哪些同时也是立方体。最后，该输出被传递至一个能够判断物体颜色的模块。TbD-net的最终输出为“红色”，这正是该问题的正确答案。
经测试，TbD-net所取得的成果超越了表现最佳的视觉推理模型。研究人员使用一个视觉问答数据集对该模型进行了评估，该数据集包含70,000张训练图像和700,000个问题，以及由15,000张图像和150,000个问题组成的测试集和验证集。初始模型在该数据集上实现了98.7%的测试准确率，据研究人员称，这远超其他基于神经模块网络的方法。
重要的是，研究人员随后得以改进这些结果，这得益于其模型的关键优势——透明性。通过观察模块生成的注意力掩码，他们能够看出问题出在哪里，并对模型加以优化。最终结果是达到了99.1%的准确率，实现了最先进的性能。
“我们的模型在视觉推理过程的每个阶段都提供了直接、可解释的输出，”马沙卡说道。
如果深度学习算法要与人类一同部署，协助应对复杂的现实世界任务，可解释性就显得尤为宝贵。为建立对这些系统的信任，用户需要能够检视推理过程，从而理解模型为何以及如何做出错误的预测。
智能与决策技术小组负责人保罗·梅茨格表示，该研究“是林肯实验室致力于成为应用机器学习研究和人工智能领域世界领先者的工作的一部分，这项工作推动了人机协作”。
这项工作的细节已在论文《Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning》中有所描述，该论文于今年夏天在计算机视觉与模式识别会议（CVPR）上发表。
