医疗AI的信任不能仅靠设计,还必须让临床医生和患者切身感受到

undefined
本内容由人工智能自动翻译。
  • 医疗AI的信任目前过度依赖系统设计,而非真实的医疗现实。

  • 需要持续的反馈循环,才能让医疗AI的信任切实回应临床医生和患者的需求。

  • 东南亚的多项举措表明,对技术的信任可以从政策层面延伸到实践层面。

人工智能(AI)正在重塑医疗保健——从诊断到医院运营。然而,治理工作仍然滞后。对技术的信任对临床应用至关重要,但目前仍不稳定。大多数框架侧重于系统设计或合规性,却忽视了护理实践的真实情境——在这些情境中,信任是通过患者和临床医生的日常使用逐步建立起来的。

新加坡在医疗AI方面的做法既体现了进步,也面临挑战。2018年,Singhealth网络攻击——该国最严重的数据泄露事件之一——泄露了近150万名患者的记录,并暴露出关键基础设施的漏洞。

2023年,YouGov调查发现,只有14%的新加坡居民愿意接受AI辅助的心理健康咨询。2021年,卫生部发布了《医疗AI指南》,倡导可解释性、人工监督和风险沟通等保障措施;这是迈向建立信任(而不仅是强制合规)的一步。

这些进展释放出一个更广泛的信号。治理必须超越固定标准,转向部署阶段的信任循环:即动态的、情境感知的机制,并与临床现实同步演进。医疗治理必须具备响应性、可观察性并深度嵌入——而不仅仅是立法规定。

信任无法事后补救

一名放射科医生在接受AI生成的扫描解读前犹豫不决。一名护士推翻了AI生成的分诊警报。一名患者问道:“谁在查看我的数据?”这三个例子本身并非系统错误,而是信号。当系统与现实需求不匹配时,信任摩擦便会出现。“设计即信任”有所帮助,但治理必须是持续的,并以反馈而非假设为指导。

2025年《npj数字医学》发表的观点文章发现,持续监测流程和再训练工作流程正迅速成为主要运营成本,而应对数据模式变化(“数据漂移”)的调整则给缺乏专业工程团队的机构带来额外压力。这些发现进一步说明,需要建立可扩展且具备情境敏感性的分阶段信任循环,否则,资源充足的中心与规模较小的医院之间的能力差距可能会进一步扩大。

医生们正在利用5700万份匿名患者记录训练人工智能。
医生们正在利用5700万份匿名患者记录训练人工智能。
02:31

运营层面的信任是什么样子?

运营层面的信任指AI系统在真实临床条件下的表现水平,且这种表现须透明、可问责,并便于一线工作人员使用。它包括:

情境可解释性:初级临床医生能否实时理解并质疑AI的输出结果?

2025年AMA调查发现,68%的医生认为AI工具有价值,66%的医生已在使用此类工具。但近一半(47%)的受访者认为,加强医务人员的监督是建立对AI生成建议信任的最重要监管举措。

新加坡总医院的AI2D模型 (传染病增强智能)体现了临床AI中的情境可解释性。该工具借助实时患者数据,帮助医生判断肺炎等疾病是否需要使用抗生素,并在早期验证中达到90%的准确率。AI2D在化验结果出来之前即给出治疗建议,在辅助而非取代临床判断的同时,通过及时且可解释的输出增强信任。

动态可审计性:在患者交接期间,预测结果能否被追溯?

2022年《自然·医学》的一项研究报告称,由于环境漂移,某败血症模型在投入使用数月内性能下降了17%。这凸显了可审计性的重要性:它能够在条件演变过程中,实时追踪模型性能。

新加坡的aiTriage和CARES 2工具分别用于预测心脏事件和术后事件,凭借可记录、带时间戳并嵌入临床病历的预测结果赢得信任,使临床医生能够在交接或后续护理期间核实既往建议。这种可追溯性在强化人类判断的同时,也支撑了问责机制。

终端用户反馈机制:一线用户能否标记不安全的模式,并帮助算法持续改进?

易用性提升:新加坡保健集团的Note Buddy可实时转录多语种问诊内容,减轻行政负担,使医护人员能够更专注地提供照护——这是通过界面适配建立信任的一个切实例子。

诸如mindline.sg和Holmusk的NeuroBlu等心理健康平台,从设计之初即嵌入了具备信任意识的监督机制。Mindline.sg采用经临床医生审核的分诊框架,并按类别进行分流,提供自我护理工具或专业转诊服务,且不保留可识别身份的数据。尽管该平台并非为持续的临床干预而设计,但仍会反复更新,以保持其相关性与安全性。相比之下,Holmusk则通过其NeuroBlu平台将预测模型与面向临床医生的仪表板相连,使护理团队能够借助持续的数据更新监测风险并优化干预措施。

东南亚:正在推进中的信任实验室

东南亚正通过实践而非仅凭政策,引领治理创新。在新加坡,由卫生部主导的TRUST 数据交换平台目前汇集了约40个匿名化的国家医疗数据集,并在其运营首年支持了来自107名用户的17项获批数据请求。与此同时,新加坡的国家级AI系统测试与评估框架AI Verify正通过2025年全球AI保障试点应用于临床场景。该框架将技术测试与流程检查相结合,以评估AI系统的公平性、稳健性和透明度。在此次试点中,17个真实场景中的生成式AI部署项目,包括樟宜综合医院的一款工作流程摘要工具,与来自10个行业的16家专业测试机构进行了配对。

除新加坡之外,东盟已从原则探讨迈向试点实践,各成员国正在对针对特定语言的安全工具进行实地测试。其中最值得关注的是,泰国的Typhoon2-Safety分类器已经发布,用于强化对泰语大语言模型输出的文化与情境护栏。在医疗领域,此类工具在心理健康支持、分诊助手以及面向患者的生成式AI系统等应用中日益重要,而在这些场景中,语言的精准性和文化敏感性对安全与信任至关重要。

要将这些试点转化为持续的影响,需要由供应商、医疗机构和监管机构共同设计的治理基础设施,使问责与信任能够嵌入日常工作流程。公共采购可通过以下方式锁定信任:若未达成核心关键绩效指标(如临床医生干预率、诊断错误减少率和患者报告体验(PREM)评分),则将奖金与还款罚则相挂钩,相关指标见于“AI for IMPACTs”评估框架。

信任原则

在AI运营的核心确立信任,需要机构层面的领导力。透明度、问责制与用户适配等条件不会自然形成。领导者应通过以下行动,为AI的部署、评估和改进设定规则:

  • 建立信任:在公共部门AI招标中纳入运营层面的信任指标(例如,要求供应商追踪临床医生干预率、PREM评分和诊断错误减少率)。同样重要的是,应加强用户可便捷使用的渠道,以便其安全地标记风险并影响系统的演进。

  • 与用户共同设计:信任必须共同构建,而非强加。这意味着在每一轮设计迭代中,都要纳入细粒度的隐私控制和患者咨询意见。

  • 区域协调:利用东盟和亚太经合组织平台,协调部署治理,正如新加坡的谅解备忘录所体现的那样。

  • 投资治理素养:新加坡的医学人工智能中心(C-AIM)和AI for Science计划等举措,正在推动嵌入支持安全、伦理与真实场景落地的治理原则。

AI能够变革医疗保健,但前提是它必须获得信任。信任并非静态的,而是通过情境、反馈和使用逐步建立起来的。情境指使AI系统与临床环境保持一致,包括工作流程、数据来源和一线角色。反馈指来自用户的持续输入以及性能监测,以便发现风险并改进功能。而使用则强调,信任必须通过反复、安全的互动来赢得,而非在上线时便被预设。

要塑造医疗AI的未来,我们必须自下而上地进行治理——让信任通过切身经验赢得,而不仅仅通过设计获得。

世界经济论坛如何通过协作助力领导者加强卫生系统

健康与医疗中心将各界领导者联系在一起,共同应对全球卫生系统面临的挑战,包括可及性、公平性、韧性和备灾能力。

通过值得信赖的对话以及公私合作,该中心使合作伙伴能够围绕共同优先事项达成一致,并推动集体行动以改善健康结果。

了解该中心的工作

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。