机器的决策过程可能很复杂。
这一过程中存在一个问题：机器可能会依据人类无法理解的细节做出自信的预测。
这被称为过度解读。
以下将探讨这一问题及其解决方法。
神经网络虽然能完成许多任务，但我们仍不太了解它们如何运作。诚然，我们可以对它们进行编程，让它们学习；但要理解机器的决策过程，仍像是在面对一幅精巧的拼图：图案令人眼花缭乱、错综复杂，许多关键拼块还没有归位。
例如，如果一个模型试图对这幅拼图的图像进行分类，它可能会遭遇众所周知但令人头疼的对抗性攻击，也可能遇到更常见的数据或处理问题。但麻省理工学院的科学家最近发现，另一种更隐蔽的失效类型同样令人担忧：“过度解读”——算法依据人类无法理解的细节（如随机图案或图像边缘）做出自信的预测。
在高风险场景中，这尤其令人担忧，例如自动驾驶汽车需要在瞬息之间做出决定，以及需要及时处理的疾病诊断。自动驾驶汽车尤其依赖能够准确理解周围环境并迅速、安全地做出决策的系统。该网络利用特定背景、边缘或天空的特定图案来识别交通信号灯和路牌，而不管图像中还有什么其他内容。
研究团队发现，使用 CIFAR-10 和 ImageNet 等热门数据集训练的神经网络存在过度解读问题。例如，使用 CIFAR-10 训练的模型即使在输入图像缺失了95%的情况下，仍会做出自信的预测；剩余部分对人类来说毫无意义。
“过度解读是由数据集中的无意义信号引发的数据集问题。这些高置信度图像不仅无法辨认，而且其内容不足原图的10%，并且位于边缘等无关区域。我们发现，这些图像对人类毫无意义，但模型仍能以很高的置信度对其进行分类。”麻省理工学院计算机科学与人工智能实验室博士生、相关研究论文第一作者布兰登·卡特说。论文，介绍了这项研究。
深度图像分类器的应用十分广泛。除了用于医学诊断和推动自动驾驶技术发展，它们还应用于安防、游戏，甚至有一款应用能告诉你某样东西是不是热狗——毕竟有时我们需要确认一下。相关技术通过处理海量预先标注图像中的单个像素，让网络从中“学习”。
图像分类很难，因为机器学习模型可能会抓住这些无意义的细微信号。于是，使用 ImageNet 等数据集训练图像分类器时，它们可能会依据这些信号做出看似可靠的预测。
尽管这些无意义的信号可能导致模型在现实世界中表现脆弱，但它们在数据集中实际上是有效的。这意味着，无法通过基于准确率的常规评估方法诊断过度解读。
为了找出模型对特定输入做出预测的依据，本研究采用的方法从完整图像入手，反复追问：可以从这张图像中去掉什么？本质上，它会不断遮住图像，直到只剩下仍足以让模型做出自信判断的最小部分。
因此，也可以将这些方法用作一种验证标准。例如，如果一辆自动驾驶汽车使用经过训练的机器学习方法识别停车标志，你可以找出构成停车标志的最小输入子集，以此测试该方法。如果这个子集实际上是树枝、一天中的特定时段，或其他并非停车标志的东西，你就有理由担心汽车可能会在不该停车的地方停下。
乍看之下，模型似乎是罪魁祸首，但问题更可能出在数据集上。“问题在于，我们如何修改数据集，才能让模型接受训练时更接近人类对图像分类的思考方式，从而有望在自动驾驶和医学诊断等现实场景中更好地泛化，避免出现这种毫无意义的行为。”卡特说。
这可能意味着要在更受控的环境中创建数据集。目前，人们只是从公共领域提取图片，再对其进行分类。但例如，如果要进行物体识别，可能就需要使用背景信息较少的物体来训练模型。
这项研究得到了 Schmidt Futures 和美国国立卫生研究院的支持。卡特与亚马逊的科学家 Siddhartha Jain 和 Jonas Mueller，以及麻省理工学院教授 David Gifford 共同撰写了论文。他们将在2021年神经信息处理系统大会上展示这项研究。
