麻省理工学院研究人员开发了一种技术，可减少机器学习模型走捷径的倾向。
实现这一点的方法是，迫使模型关注数据中此前未曾考虑过的特征。
由此，预测会更加可靠，结果也更加准确。
如果你的优步司机抄近路，你或许能更快抵达目的地。但如果机器学习模型走捷径，它可能会以意想不到的方式失效。
在机器学习中，所谓走捷径，是指模型依赖数据集的某个简单特征来作出判断，而不是学习数据的真正本质，这可能导致预测不准确。例如，模型可能学会通过关注照片中的绿色草地来识别牛，而不是识别牛身上更复杂的形状和纹理。
麻省理工学院研究人员的一项新研究探讨了一种流行机器学习方法中的走捷径问题，并提出一种解决方案：迫使模型在决策时使用更多数据，从而避免走捷径。
研究人员移除模型所关注的简单特征，迫使它转而关注此前未曾考虑过的、更复杂的数据特征。随后，他们让模型以两种方式完成同一任务——先使用这些简单特征，再使用它现在已经学会识别的复杂特征。这样一来，他们减少了模型走捷径的倾向，并提升了模型的性能。
这项研究的一个潜在应用，是提高用于识别医学影像中疾病的机器学习模型的有效性。在这种情境下，走捷径可能导致误诊，给患者带来危险后果。
“我们仍然很难弄清深度网络为何会作出这样的判断，尤其难以知道它们在作出判断时选择关注数据的哪些部分。如果我们能更详细地理解走捷径的运作方式，就能进一步回答一些根本性但非常实际的问题；这些问题对那些试图部署此类网络的人来说至关重要。”论文第一作者、计算机科学与人工智能实验室（CSAIL）博士生约书亚·罗宾逊（Joshua Robinson）说道。
世界经济论坛如何推动第四次工业革命？
前沿技术与创新中心汇聚科学家、政策制定者和商界领袖，帮助他们理解新兴技术及其对现实世界的影响。
通过促进协作与试验，该中心帮助合作伙伴将创新从研究转化为实际应用，以应对共同的全球挑战。
罗宾逊与他的导师共同撰写了这篇论文。导师包括资深作者苏弗里特·斯拉（Suvrit Sra），电气工程与计算机科学系（EECS）埃丝特与哈罗德·E·埃哲顿职业发展副教授，同时也是数据、系统与社会研究所（IDSS）和信息与决策系统实验室的核心成员；以及斯蒂芬妮·耶格尔卡（Stefanie Jegelka），X 联盟职业发展副教授 （任职于 EECS，同时是 CSAIL 和 IDSS 的成员）；此外还有匹兹堡大学助理教授凯汉·巴特曼格利希（Kayhan Batmanghelich），以及博士生李孙（Li Sun）和柯宇（Ke Yu）。这项研究将于 12 月在神经信息处理系统大会上发表。
理解走捷径的漫长之路
研究人员将研究重点放在对比学习上。这是一种强大的自监督机器学习形式。在自监督机器学习中，模型使用未经人工标注的原始数据进行训练。因此，它可以成功应用于种类更广泛的数据。
自监督学习模型会学习有用的数据表示，并将其作为不同任务（例如图像分类）的输入。但如果模型走捷径，未能捕捉重要信息，这些任务也无法利用这些信息。
例如，如果一个自监督学习模型使用来自多家医院的 X 光片训练，以识别肺炎，但它学会了依据标明影像来自哪家医院的标签作出预测（因为有些医院的肺炎病例比其他医院多），那么当它获得来自一家新医院的数据时，表现就不会好。
对于对比学习模型，编码器算法经过训练，能够区分相似输入对和不相似输入对。这个过程会对图像等丰富而复杂的数据进行编码，使对比学习模型能够理解这些数据。
研究人员用一组图像测试了对比学习编码器，发现它们在这一训练过程中也会走捷径。编码器往往只关注图像中最简单的特征，以判断输入对是否相似。耶格尔卡说，理想情况下，编码器在作出判断时应关注数据的所有有用特征。
于是，研究团队提高了区分相似与不相似样本对的难度，并发现这会改变编码器作出判断时关注的特征。
“如果你不断提高区分相似与不相似项目的任务难度，系统就会被迫学习数据中更有意义的信息，因为如果不学会这些信息，它就无法完成任务。”她说。
但提高难度也带来了取舍——编码器更善于关注数据的某些特征，却更难关注其他特征。罗宾逊说，它几乎像是忘记了那些较简单的特征。
为了避免这种取舍，研究人员让编码器以最初的方式区分样本对，也就是使用较简单的特征；同时，他们还让编码器在研究人员移除它已经学到的信息后，再次区分这些样本对。让编码器同时以这两种方式完成任务，使它在所有特征上的表现都得到提升。
他们的方法称为“隐式特征修改”，会自适应地修改样本，移除编码器用于区分样本对的较简单特征。斯拉解释说，这项技术不依赖人工输入，这一点很重要，因为现实世界的数据集可能包含数百种特征，而这些特征可能以复杂方式组合。
从汽车到慢性阻塞性肺疾病
研究人员使用车辆图像对这项方法进行了一次测试。他们运用隐式特征修改调整颜色、朝向和车辆类型，提高编码器区分相似与不相似图像对的难度。编码器在纹理、形状和颜色这三项特征上的准确度同时得到提升。
为了检验这项方法能否应对更复杂的数据，研究人员还使用慢性阻塞性肺疾病（COPD）医学影像数据库中的样本进行了测试。同样，这项方法使他们评估的所有特征都同时得到改善。
研究人员表示，这项工作在理解走捷径的成因及着手解决这一问题方面迈出了重要步伐，但要取得未来进展，关键在于继续改进这些方法，并将它们应用于其他类型的自监督学习。
“这关系到有关深度学习系统的一些重大问题，例如‘它们为何会失效？’以及‘我们能否预先知道模型会在什么情况下失效？’如果要全面理解走捷径式学习，我们还有很长的路要走。”罗宾逊说。
这项研究得到了美国国家科学基金会、美国国立卫生研究院，以及宾夕法尼亚州卫生部 SAP SE 联邦研究提升（CURE）计划的支持。
