医生常常要花大量时间在健康记录中查找信息,因此陪伴患者的时间减少了。
研究人员正在开发机器学习模型,帮助医生高效地查找患者健康记录中的信息。
但训练有效模型需要大量相关医学问题数据集,而由于隐私限制,这类数据集往往难以获得。
医生经常查询患者的电子健康记录,以获取有助于制定治疗决策的信息,但这些记录使用起来繁琐,妨碍了查询过程。研究表明,即使医生接受过电子健康记录(EHR)使用培训,查找一个问题的答案平均也要花费八分多钟。
医生在操作常常笨拙难用的EHR界面上花的时间越多,与患者交流并提供治疗的时间就越少。
研究人员已开始开发机器学习模型,通过自动查找医生在EHR中需要的信息来简化这一过程。然而,训练有效模型需要规模庞大的相关医学问题数据集,而由于隐私限制,这类数据集往往难以获得。现有模型难以生成真实的问题——也就是人类医生会提出的问题——而且往往无法成功找到正确答案。
为解决数据短缺问题,麻省理工学院(MIT)的研究人员与医学专家合作,研究医生查阅EHR时会提出哪些问题。随后,他们建立了一个公开可用的数据集,其中包含这些医学专家撰写的2000多个临床相关问题。
他们使用该数据集训练机器学习模型生成临床问题后发现,与医学专家提出的真实问题相比,该模型在超过60%的情况下提出的问题质量高且真实。
他们计划利用这个数据集生成大量真实的医学问题,再用这些问题训练机器学习模型,帮助医生更高效地在患者记录中查找所需信息。
“两千个问题听起来可能很多,但看看如今正在训练的机器学习模型,它们拥有的数据非常多,可能有数十亿个数据点。要训练机器学习模型在医疗环境中发挥作用,就必须非常有创造力,因为数据实在太匮乏了,”论文第一作者、计算机科学与人工智能实验室(CSAIL)研究生埃里克·莱曼(Eric Lehman)说。
论文资深作者是彼得·索洛维茨(Peter Szolovits),他是电气工程与计算机科学系(EECS)教授,领导CSAIL的临床决策小组,也是MIT-IBM Watson人工智能实验室成员。这篇研究论文由MIT、MIT-IBM Watson人工智能实验室、IBM研究院的合著者,以及协助编写问题并参与研究的医生和医学专家共同完成,将在计算语言学协会北美分会年度会议上发表。
“真实的数据对于训练与任务相关的模型至关重要,但这类数据很难找到或创建,”索洛维茨说。“这项工作的价值在于,我们仔细收集了临床医生针对患者病例提出的问题,并据此开发方法,利用这些数据和通用语言模型提出更多合理的问题。”
数据匮乏
莱曼解释说,研究人员能够找到的少数大型临床问题数据集都有不少问题。其中一些数据集由患者在网络论坛上提出的医学问题组成,与医生提出的问题相去甚远。其他数据集中的问题则由模板生成,因此结构大多相同,许多问题显得不真实。
“收集高质量数据对于机器学习任务非常重要,尤其是在医疗场景中,而我们已经证明这件事是可以做到的,”莱曼说。
为了构建数据集,MIT研究人员与执业医生和处于培训最后一年的医学生合作。他们向这些医学专家提供了100多份EHR出院摘要,请他们阅读摘要并提出可能想到的任何问题。为收集自然的问题,研究人员没有对问题类型或结构作任何限制。他们还请医学专家标出EHR中促使他们提出每个问题的“触发文本”。
例如,医学专家可能会读到一条EHR记录,其中写道,患者既往病史中有前列腺癌和甲状腺功能减退症。触发文本“前列腺癌”可能会促使专家提出“确诊日期是什么?”或“做过哪些干预?”之类的问题。
研究人员发现,大多数问题都围绕症状、治疗或患者的检查结果。莱曼说,虽然这些发现并不出人意料,但量化每个大类主题相关问题的数量,将有助于他们构建一个适用于真实临床场景的有效数据集。
汇总问题及其对应的触发文本后,他们用这些数据训练机器学习模型,使模型能够根据触发文本提出新问题。
随后,医学专家依据四项指标判断这些问题是否“好”:可理解性(人类医生能否理解这个问题?)、琐碎性(从触发文本能否轻易得出答案?)、医学相关性(结合上下文提出这个问题是否合理?)以及与触发文本的相关性(触发文本是否与问题有关?)。
令人担忧
研究人员发现,给模型提供触发文本后,它在63%的情况下能够生成一个好问题;而人类医生提出好问题的比例为80%。
他们还使用项目开始时找到的公开数据集训练模型,使其能够检索临床问题的答案。随后,他们测试这些训练好的模型,查看其能否找到人类医学专家提出的“好问题”的答案。
这些模型只能检索出医生提出的问题中约25%的答案。
“这个结果确实令人担忧。人们以为表现良好的模型,实际效果却糟糕透顶,因为用于测试它们的评估问题本身一开始就不够好,”莱曼说。
团队目前正将这项工作用于实现最初的目标:构建一个能够自动回答医生在EHR中提出问题的模型。下一步,他们将使用该数据集训练机器学习模型,使其能够自动生成数千或数百万个优质临床问题,再用这些问题训练一个新的自动问答模型。
要让这一模型成为现实,仍有大量工作要做,但莱曼对团队利用该数据集取得的出色初步成果感到鼓舞。
这项研究部分由MIT-IBM Watson人工智能实验室资助。其他合著者包括:MIT医学工程与科学研究所的Leo Anthony Celi;MIT-IBM Watson人工智能实验室的Preethi Raghavan和Jennifer J. Liang;布法罗大学的Dana Moukheiber;马萨诸塞大学洛厄尔分校的Vladislav Lialin和Anna Rumshisky;菲律宾大学的Katelyn Legaspi、Nicole Rose I. Alberto、Richard Raymund R. Ragasa、Corinna Victoria M. Puyat、Isabelle Rose I. Alberto和Pia Gabrielle I. Alfonso;东方大学拉蒙·麦格赛赛纪念医学中心的Anne Janelle R. Sy和Patricia Therese S. Pile;马尼拉雅典耀大学医学院与公共卫生学院的Marianne Taliño;以及东北大学的Byron C. Wallace。


