一项新技术可将机器学习模型的推理过程与人类的推理过程进行比较。
该策略名为Shared Interest，纳入了可量化的指标，用于比较推理的契合程度。
这有助于用户轻松发现模型决策过程中令人担忧的趋势。
例如，模型可能常常会被分散注意力的无关特征所干扰，比如照片中的背景物体。
在机器学习中，理解 模型为何做出某些决策，其重要性往往与这些决策是否正确同样关键。例如，一个机器学习模型可能正确预测皮肤损伤为癌变，但它所依据的可能是临床照片上一个与病变无关的斑点。
虽然已有工具可帮助专家理解模型的推理过程，但这些方法通常只能针对单个决策提供洞见，且每个决策都必须人工评估。模型通常使用数百万条数据输入进行训练，因此人工几乎不可能评估足够多的决策以识别规律。
目前，麻省理工学院（MIT）与IBM研究院的研究人员开发出一种方法，使用户能够汇总、排序和分级这些单独的解释，从而快速分析机器学习模型的行为。该技术名为Shared Interest，纳入了可量化的指标，用于比较模型的推理与人类推理的契合程度。
Shared Interest可帮助用户轻松发现模型决策过程中令人担忧的趋势——例如，模型可能常常会被分散注意力的无关特征所干扰，比如照片中的背景物体。汇总这些洞见有助于用户快速且量化地判断模型是否值得信赖，以及是否已准备好部署于实际场景中。
“在开发Shared Interest时，我们的目标是能够扩大这一分析流程的规模，从而在更宏观的层面理解模型的行为，”第一作者、计算机科学与人工智能实验室（CSAIL）可视化小组的研究生Angie Boggust表示。
Boggust与其导师Arvind Satyanarayan共同撰写了这篇论文。Satyanarayan是计算机科学助理教授，领导可视化小组。论文作者还包括IBM研究院的Benjamin Hoover，以及资深作者Hendrik Strobelt，两人均来自IBM研究院。该论文将在人机交互会议（Conference on Human Factors in Computing Systems）上发表。
Boggust在IBM暑期实习期间，在Strobelt的指导下开始了这一项目。返回MIT后，Boggust与Satyanarayan拓展了该项目，并与Strobelt和Hoover继续合作，后两人协助部署了案例研究，展示了该技术在实践中的应用方式。
人与人工智能的一致性
Shared Interest借鉴了一些常用技术，这些技术可显示机器学习模型做出特定决策的依据，即所谓的显著性方法（saliency methods）。若模型用于图像分类，显著性方法会突出显示图像中模型在做出决策时所依据的重要区域。这些区域被可视化为一种热图，称为显著性图，通常叠加在原始图像上。若模型将图像分类为狗，且狗的头部被高亮显示，则表示这些像素在模型判定图像包含狗时具有重要作用。
Shared Interest通过将显著性方法与真实标注数据（ground-truth data）进行比较来开展工作。在图像数据集中，真实标注数据通常是人工生成的标注，用于框出每张图像的相关部分。在前面的例子中，方框会框住照片中的整只狗。在评估图像分类模型时，Shared Interest会比较同一图像的模型生成显著性数据与人工生成的真实标注数据，以判断两者的契合程度。
该技术运用多项指标来量化这种契合（或不契合）程度，然后将特定决策归入八个类别之一。这些类别涵盖了从完全与人类一致（模型做出正确预测，且显著性图中的高亮区域与人工生成的方框完全相同）到完全分心（模型做出错误预测，且未使用人工生成方框中包含的任何图像特征）的全部范围。
“在这一光谱的一端，你的模型出于与人类完全相同的原因做出了决策；而在光谱的另一端，你的模型与人类是出于完全不同的原因做出该决策。通过对数据集中所有图像进行量化，你便可以利用这些量化结果对它们进行筛选，”Boggust解释道。
该技术处理基于文本的数据时原理类似，只是高亮显示的是关键词而非图像区域。
快速分析
研究人员通过三个案例研究，展示了Shared Interest对非专业人士和机器学习研究人员均可能有所帮助。
在第一个案例研究中，研究人员借助Shared Interest帮助一位皮肤科医生判断，他是否应当信任一个用于从皮肤损伤照片中辅助诊断癌症的机器学习模型。Shared Interest使这位皮肤科医生能够迅速查看模型正确与错误预测的示例。最终，这位医生认定自己不能信任该模型，因为它做出的大量预测是基于图像伪影，而非实际病变。
“这里的价值在于，借助Shared Interest，我们能够观察到模型行为中浮现的这些规律。大约半小时内，这位皮肤科医生便能够自信地决定是否信任该模型，以及是否应将其投入使用，”Boggust说。
在第二个案例研究中，研究人员与一位机器学习研究人员合作，展示Shared Interest如何通过揭示模型中此前未知的缺陷来评估特定的显著性方法。该技术使这位研究人员得以在远少于传统人工方法所需的时间内，分析数千个正确与错误的决策。
在第三个案例研究中，研究人员使用Shared Interest深入剖析一个具体的图像分类示例。通过调整图像的真实标注区域，他们得以开展假设性分析，以查看哪些图像特征对特定预测最为重要。
研究人员对Shared Interest在这些案例研究中的表现印象深刻，但Boggust提醒，该技术的效果取决于其所依据的显著性方法。如果这些方法存在偏差或并不准确，那么Shared Interest也将继承这些局限性。
未来，研究人员希望将Shared Interest应用于不同类型的数据，尤其是用于医疗记录的表格数据。他们还希望利用Shared Interest帮助改进现有的显著性技术。Boggust希望这项研究能够激发更多工作，以人类可以理解的方式量化机器学习模型的行为。
这项工作部分由MIT-IBM沃森人工智能实验室、美国空军研究实验室以及美国空军人工智能加速器资助。
