麻省理工学院的研究人员设计出一种新方法，可从用于训练机器学习模型的图像中获取更多信息，这些模型包括能够分析医学扫描以帮助诊断和治疗脑部疾病的模型。
医学领域一个活跃的新方向是训练深度学习模型，以识别与阿尔茨海默病和多发性硬化症等神经系统疾病及障碍相关的脑部扫描结构模式。但收集训练数据十分费力：每次扫描中的所有解剖结构都必须由神经学专家单独勾勒轮廓或手动标注。而且在某些情况下，例如儿童罕见脑部疾病，最初可能只有少数几次扫描可用。
在近期举办的计算机视觉与模式识别会议上发表的一篇论文中，麻省理工学院的研究人员介绍了一种系统，该系统利用一张带标签的扫描和若干无标签扫描，自动合成大规模的、各不相同的训练样本数据集。该数据集可用于更好地训练机器学习模型，以在新扫描中识别解剖结构——训练数据越多，预测效果越好。
这项工作的关键在于为“图像分割”过程自动生成数据。图像分割是将图像划分为若干像素区域，使其更具意义、更便于分析。为此，该系统采用卷积神经网络（CNN），这是一种在图像处理任务中表现卓越的机器学习模型。该网络分析来自不同患者和不同设备的大量无标签扫描，以“学习”解剖结构、亮度和对比度的变化。随后，它将这些习得变化的随机组合应用于一张带标签的扫描，合成既逼真又标注准确的新扫描。这些新合成的扫描随后被输入另一个卷积神经网络，该网络学习如何对新图像进行分割。
“我们希望这将使图像分割在缺乏大量训练数据的实际场景中更易实现，”第一作者、电气工程与计算机科学系（EECS）及计算机科学与人工智能实验室（CSAIL）的研究生赵艾米（Amy Zhao）表示，“在我们的方法中，你可以学习模仿无标签扫描中的变化，从而智能地合成大型数据集来训练你的网络。”
赵艾米表示，人们对使用该系统很感兴趣，例如用于帮助训练麻省总医院的预测分析模型，在那里，针对儿童患者中特别罕见的脑部疾病，可能仅存在一两张带标签的扫描。
与赵艾米共同参与这篇论文的还有：Guha Balakrishnan，EECS与CSAIL的博士后研究员；EECS教授Fredo Durand和John Guttag；以及资深作者Adrian Dalca，他同时也是哈佛医学院放射学的教员。
该系统背后的“Magic”
虽然该系统现已应用于医学影像，但它最初实际上是作为一种手段，为一款智能手机应用合成训练数据而诞生的，该应用旨在识别并检索热门收藏纸牌游戏《万智牌》（“Magic: The Gathering”）中纸牌的相关信息。《万智牌》发行于20世纪90年代初，拥有超过20,000张不同的卡牌，并且每隔几个月都会推出新卡，玩家可用这些卡牌组建自定义牌组。
赵艾米是一名狂热的《万智牌》玩家，她希望开发一款由卷积神经网络驱动的应用，只需用智能手机摄像头拍摄任意卡牌的照片，即可自动从在线卡牌数据库中提取价格和评分等信息。“当我在游戏店挑选卡牌时，我厌倦了把所有卡牌名称输入手机并查询评分和组合，”赵艾米表示，“如果我能用手机扫描它们并调出这些信息，那岂不是很棒？”
但她意识到，这是一项非常艰巨的计算机视觉训练任务。“你需要在所有不同光照条件和角度下拍摄全部20,000张卡牌的大量照片。没有人会去收集这样的数据集，”赵艾米表示。
于是，赵艾米改为在一个约200张卡牌的较小数据集上训练卷积神经网络，每张卡牌有10张不同的照片，以学习如何将卡牌变形为各种姿态。它计算了不同的光照、角度以及反光（当卡牌放入塑料卡套中时会产生反光）等情况，从而合成数据集中任意卡牌的逼真变形版本。赵艾米表示，这是一个令人兴奋的兴趣项目：“但我们意识到，这种方法非常适合医学图像，因为这类变形与磁共振成像（MRI）非常契合。”
脑内变形
磁共振成像（MRI）图像由称为体素的三维像素构成。在对MRI进行分割时，专家会根据包含体素区域的解剖结构将其分离并标注。由于个体大脑差异和所用设备不同，扫描结果存在多样性，这给利用机器学习自动完成这一过程带来了挑战。
一些现有方法可以利用“数据增强”，从带标签的扫描中合成训练样本，即将带标签的体素变形到不同位置。但这些方法需要专家手动编写各种增强准则，而且一些合成的扫描看起来与真实人脑毫不相似，这可能不利于学习过程。
相比之下，研究人员的系统能够自动学习如何合成逼真的扫描。研究人员使用来自真实患者的100份无标签扫描训练其系统，以计算空间变换 — 即扫描之间的解剖对应关系。这生成了同样多的“流场”，用于模拟体素如何从一次扫描移动到另一次扫描。与此同时，系统还计算强度变换，以捕捉由图像对比度、噪声和其他因素引起的外观变化。
在生成新扫描时，系统将一个随机流场应用于原始带标签扫描，使体素发生移动，直至其在结构上与一份真实的无标签扫描相匹配。随后，它叠加一个随机强度变换。最后，系统按照体素在流场中的移动轨迹，将标签映射到新的结构上。最终，合成的扫描与真实的无标签扫描高度相似，但标签准确无误。
为测试其自动分割的准确性，研究人员使用了Dice分数，该分数用于衡量一个三维形状与另一形状的契合程度，取值范围为0至1。他们在100份保留的测试扫描上，针对30个不同的脑部结构，将其系统与传统分割方法（包括手动和自动方法）进行了比较。在所有方法中，大型结构的准确度相当。但研究人员的系统在较小结构上优于所有其他方法，例如海马体——按体积计算，海马体仅占大脑的约0.6%。
赵艾米表示：“这表明我们的方法优于其他方法，尤其是在处理较小结构时，而这些结构对于理解疾病可能非常重要。而且，我们只需要一份手动标注的扫描就做到了这一点。”
