基于人工神经网络的深度学习模型已大幅发展，但其复杂性使人们难以判断它们是否正常运行。
研究人员开发了三种“解释方法”，试图说明机器学习如何运行以及是否正常运行：特征归因、反事实解释和样本重要性解释。
这有助于决策者了解何时可以信任人工智能，并在实践中采用其指导。
随着机器学习应用于医疗保健、教育等更多领域，解释方法变得愈发重要，但仍有改进空间。
大约十年前，深度学习模型开始在各种任务上取得超越人类的成绩，从击败世界冠军级的棋类游戏玩家到在诊断乳腺癌方面胜过医生。
这些强大的深度学习模型通常基于人工神经网络，这种网络最早于20世纪40年代提出，如今已成为一种流行的机器学习类型。计算机通过由相互连接的节点（或称神经元）组成的层来学习处理数据，这些节点模拟人脑。
随着机器学习领域不断发展，人工神经网络也随之发展。
如今，深度学习模型通常由数百万甚至数十亿个相互连接的节点组成，这些节点分布在多个层中，并利用海量数据进行训练，以完成检测或分类任务。但由于模型极其复杂，即使是设计它们的研究人员也无法完全理解其工作原理。因此，人们很难判断它们是否正常运行。
例如，一个旨在帮助医生正确诊断患者的模型，可能正确预测某处皮肤病变是癌症，但它的判断依据却是照片中一种与癌组织无关、却常与癌组织同时出现的标记，而不是癌组织本身。这种现象称为虚假相关。模型虽然预测正确，理由却错了。在真实的临床环境中，如果癌症阳性图像里没有这种标记，就可能导致漏诊。
围绕这些所谓的“黑箱”模型存在如此多的不确定性，我们该如何弄清黑箱内部发生了什么？
这个难题催生了一个新兴且迅速发展的研究领域：研究人员开发并测试解释方法（也称可解释性方法），试图揭示黑箱机器学习模型如何作出预测。
什么是解释方法？
从最基本的层面看，解释方法分为全局和局部两类。局部解释方法侧重解释模型如何作出某一个特定预测，而全局解释则试图描述整个模型的总体行为。这通常通过开发一个独立且更简单（也希望更容易理解）的模型来实现，该模型模仿规模更大的黑箱模型。
但由于深度学习模型的运行方式本质上复杂且非线性，开发有效的全局解释模型尤其具有挑战性。因此，研究人员最近将许多研究重点转向局部解释方法。杨璐（Yilun Zhou）对此作出解释。他是计算机科学与人工智能实验室（CSAIL）交互式机器人小组的研究生，研究可解释机器学习中的模型、算法和评估。
最常见的局部解释方法大致分为三类。
第一种也是应用最广泛的解释方法称为特征归因。特征归因方法会显示模型作出特定决策时哪些特征最为重要。
特征是输入机器学习模型并用于预测的变量。对于表格数据，特征取自数据集的各列（这些数据会经过多种技术转换，以便模型处理原始数据）。而在图像处理任务中，图像中的每个像素都是一个特征。例如，如果模型预测一张X光片显示癌症，特征归因方法就会突出显示这张特定X光片中对模型预测最重要的像素。
从本质上说，特征归因方法会显示模型作出预测时最关注什么。
杨璐说：“通过这种特征归因解释，你可以检查是否存在虚假相关的问题。例如，它会显示水印中的像素是否被突出显示，还是实际肿瘤中的像素被突出显示。”
第二种解释方法称为反事实解释。给定输入和模型的预测结果，这种方法会显示如何改变输入，使其归入另一个类别。例如，如果机器学习模型预测某位借款人会被拒绝贷款，反事实解释就会指出需要改变哪些因素，才能让她的贷款申请获批。也许她的信用评分或收入需要提高；这两者都是模型预测所使用的特征。
他说：“这种解释方法的好处是，它会准确告诉你需要如何改变输入才能扭转决策，因此可能具有实际用途。对于申请房贷却未获批准的人来说，这种解释会告诉他们需要采取哪些措施才能实现预期结果。”
第三类解释方法称为样本重要性解释。与其他方法不同，这种方法需要访问用于训练模型的数据。
样本重要性解释会显示模型作出特定预测时最依赖哪个训练样本；理想情况下，该样本与输入数据最相似。如果观察到看似不合理的预测，这类解释尤其有用。某个用于训练模型的样本可能存在数据录入错误。了解这一点后，人们便可以修正该样本并重新训练模型，以提高其准确性。
解释方法如何应用？
开发这些解释方法的一个动机是进行质量保证和模型调试。例如，更深入地了解特征如何影响模型决策后，人们就可以发现模型运行异常，并采取措施修复问题，或者弃用模型、从头开始。
另一个较新的研究方向是探索如何利用机器学习模型发现人类此前尚未揭示的科学规律。例如，某个诊断癌症的模型胜过临床医生，可能是因为模型有缺陷；也可能是因为它识别出了X光图像中的某些隐藏模式，这些模式代表癌症的早期病理发展路径，而人类医生此前并不知道这些模式，或认为它们无关紧要。杨璐说。
不过，这一研究领域仍处于非常早期的阶段。
警示
CSAIL健康机器学习小组负责人、助理教授马尔泽耶·加塞米（Marzyeh Ghassemi）说，解释方法有时能帮助机器学习从业者发现模型中的错误或理解系统内部运作，但终端用户在实践中使用这些方法时应保持谨慎。
随着机器学习应用于医疗保健、教育等更多领域，人们开始使用解释方法帮助决策者更好地理解模型的预测，以便知道何时信任模型并在实践中采用其指导。但加塞米警告不要以这种方式使用这些方法。
“我们发现，解释会让专家和非专家都对某个特定推荐系统的能力或建议过度自信。我认为，人们非常有必要保留内心的那种警觉，继续追问：‘让我质疑一下我所
得到的建议’，”她说。
她补充说， 科学家知道解释会让人们变得过度自信，这一点也得到其他近期研究的支持。她还提到了微软研究人员发表的一些近期 研究。
解释方法远非万灵药，也有不少问题。首先，加塞米近期的研究表明，解释方法可能会延续偏见，并使弱势群体的处境变得更糟。
解释方法的另一项缺陷是，人们往往无法判断解释方法本身是否正确。要验证解释，就需要将其与实际模型进行比较；但用户并不了解模型的工作原理，因此这就成了一种循环论证。杨璐说。
他和其他研究人员正致力于改进解释方法，使其更忠实地反映模型的实际预测。但杨璐提醒，即使是最好的解释，也应该持保留态度看待。
他补充说：“此外，人们通常会把这些模型看作类似人类的决策者，而且我们容易过度概括。我们需要让人们冷静下来，保持审慎，确保他们根据这些局部解释形成的对模型的整体理解是平衡的。”
杨璐的最新研究正是为了实现这一目标。
机器学习解释方法的下一步是什么？
加塞米认为，研究界不应只关注提供解释，而应投入更多精力研究如何向决策者呈现信息，才能让他们理解信息；同时还需制定更多监管措施，确保机器学习模型在实践中得到负责任的使用。仅仅改进解释方法并不能解决问题。
她说：“我很高兴看到，甚至在业界，人们也越来越认识到，我们不能只是把这些信息做成漂亮的仪表板，就以为人们会因此表现得更好。我们需要看到行动方面可衡量的改进。我希望这能推动制定切实的指导方针，改善我们在医学等高度技术性的领域展示信息的方式。”
除了致力于改进解释方法的新研究之外，杨璐预计还会有更多研究关注特定应用场景下的解释方法，例如模型调试、科学发现、公平性审计和安全保障。通过识别解释方法的细致特征以及不同应用场景的要求，研究人员可以建立一套理论，将解释方法与特定情境相匹配，从而帮助克服在现实场景中使用这些方法时出现的一些缺陷。
