麻省理工学院及其他机构的研究人员开发了一种机器学习模型，可用于识别风险高于其他选择的医疗治疗方案。
他们的模型还可以在脓毒症患者临近医疗绝境时向医生发出警告——也就是无论采用何种治疗，患者都极有可能死亡的时刻。
研究人员称，该模型比医生察觉患者病情恶化几乎早八小时。
脓毒症每年在美国夺去近27万人的生命。这种难以预测的病症可能迅速发展，导致血压骤降、组织损伤、多器官衰竭乃至死亡。
医务人员及时干预能够挽救生命，但一些脓毒症治疗也可能加剧患者病情恶化，因此选择最佳疗法并非易事。例如，在重症脓毒症发病初期，静脉输液过量会增加患者的死亡风险。
为帮助临床医生避免可能导致患者死亡的治疗方法，麻省理工学院及其他机构的研究人员开发了一种机器学习模型，可用于识别风险高于其他选择的治疗方案。他们的模型还可以在脓毒症患者临近医疗绝境时向医生发出警告——也就是无论采用何种治疗，患者都极有可能死亡的时刻——以便医生及时干预。
将研究人员的模型应用于医院重症监护室脓毒症患者的数据集后，模型显示，给予后来死亡患者的治疗中，约有12%弊大于利。研究还显示，未能存活的患者中，约有3%在死亡前最多48小时就已进入医疗绝境。
“我们发现，模型比医生察觉患者病情恶化几乎早八小时。在这些非常敏感的情况下，每一分钟都至关重要；了解患者病情的发展，以及在任何特定时刻实施某种治疗的风险，十分重要。”计算机科学与人工智能实验室（CSAIL）健康机器学习组研究生泰勒·基利安（Taylor Killian）说。
与基利安共同撰写论文的还有他的导师、助理教授兼健康机器学习组负责人和资深作者马尔齐耶·加塞米（Marzyeh Ghassemi）；主要作者、微软研究院高级研究员迈赫迪·法特米（Mehdi Fatemi）；以及 Adobe India 高级研究科学家贾亚库马尔·苏布拉马尼安（Jayakumar Subramanian）。这项研究将在本周举行的神经信息处理系统大会上发表。
数据匮乏
这项研究源于法特米2019年撰写的一篇论文。论文探讨了在探索任意行动过于危险的情况下如何使用强化学习；在这种情况下，很难生成足够的数据来有效训练算法。无法主动收集更多数据的这类情境被称为“离线”设置。
在强化学习中，算法通过试错接受训练，并学会采取能够最大限度累积奖励的行动。但在医疗环境中，几乎不可能生成足够的数据，让这些模型学会最佳治疗方案，因为试验可能的治疗策略有悖伦理。
于是，研究人员颠倒了强化学习的常规思路。他们利用医院重症监护室的有限数据训练强化学习模型，以识别应当避免的治疗方案，目标是防止患者陷入医疗绝境。
基利安解释说，学习识别应避免的方案在统计上更有效，所需数据也更少。
“开车时想到死胡同，我们可能会觉得那就是道路的尽头，但其实可以把沿路通往死胡同的每一英尺都视为死胡同。一旦你偏离另一条路线，就进入了死胡同。我们对医疗绝境的定义也是如此：一旦走上某条道路，无论作出什么决定，患者的病情都会朝死亡发展。”基利安说。
“这里的一个核心理念是，按照每种治疗方案可能导致患者陷入医疗绝境的概率，相应降低选择该方案的概率。这一特性称为治疗安全性。这个问题很难解决，因为数据不会直接提供这样的洞见。我们的理论结果使我们能够将这一核心理念重新表述为一个强化学习问题。”法特米说。
为了开发他们称为“绝境发现”（Dead-end Discovery，DeD）的方法，研究人员创建了两个相同的神经网络。第一个网络只关注负面结果——患者死亡；第二个网络只关注正面结果——患者存活。分别使用两个神经网络，使研究人员能够先用一个网络检测有风险的治疗方案，再用另一个网络加以确认。
研究人员向每个神经网络输入患者健康统计数据和拟议的治疗方案。网络会输出该治疗方案的估计价值，并评估患者陷入医疗绝境的概率。研究人员比较这些估计值并设定阈值，以判断情况是否触发警示。
黄色警示意味着患者正进入值得关注的区域；红色警示则表明患者极有可能无法康复。
治疗方案至关重要
研究人员使用来自贝斯以色列女执事医疗中心重症监护室的一组数据，对模型进行了测试。数据涉及约19,300次住院记录，观察结果涵盖患者首次出现脓毒症症状前后共72小时。研究结果证实，数据集中的部分患者确实陷入了医疗绝境。
研究人员还发现，未能存活的患者中有20%至40%在死亡前至少触发过一次黄色警示，其中许多人在死亡前至少48小时就已触发该警示。结果还显示，对比存活患者与死亡患者的变化趋势后可以发现，患者首次触发警示时，所接受治疗的价值会出现非常明显的偏离。首次警示前后的这段时间是作出治疗决策的关键时刻。
“这帮助我们确认，治疗方案确实很重要，而且患者存活与否对应的治疗方案存在差异。我们发现，超过11%的次优治疗方案原本可能可以避免，因为当时医生有更好的替代选择。考虑到全球任何时候住院的脓毒症患者数量，这个比例相当可观。”基利安说。
加塞米还特别指出，该模型旨在协助医生，而非取代他们。
“我们希望由人类临床医生来作出护理决策，关于应避免哪些治疗的建议不会改变这一点。”她说，“我们可以根据1.9万名患者的治疗结果识别风险并设置相应防护措施——这相当于一名护理人员连续整整一年每天观察50多名脓毒症患者的治疗结果。”
接下来，研究人员还希望估算治疗决策与患者健康状况变化之间的因果关系。他们计划继续改进模型，使其能够估算治疗价值的不确定性，从而帮助医生作出更充分知情的决策。进一步验证模型的另一种方法是将其应用于其他医院的数据，研究人员希望未来能这样做。
这项研究部分由微软研究院、加拿大高等研究院阿兹列里全球学者主席项目、加拿大研究委员会主席项目，以及加拿大自然科学与工程研究委员会探索资助项目提供支持。
