人工智能（AI）在医疗保健领域具有巨大的潜力，但安全风险意味着它需要更多的人类监督，人工智能只能被赋予它已经证明可以安全处理的权限。
医疗机构应该明确人工智能系统能够可靠地完成哪些任务，适用于哪些人群和情况，以及在哪些情况下可能会出现故障。
由于模型、临床证据、患者群体和工作流程都在不断变化，因此资格认证不能是一次性的工作，人工智能治理必须不断调整。
人工智能正在改变经济的各个领域，但现在，比以往任何时候都更加需要采取保障措施，同时也需要在不限制人工智能巨大潜力的前提下做到这一点，例如在药物发现领域。
医疗保健行业有机会——也有责任——在安全部署人工智能方面发挥引领作用。
医疗机构现在面临着一个实际的挑战：确定人工智能系统可以安全执行哪些操作，确定人类的权力应该在哪里，并随着技术的进步调整这些控制措施。
1. 首先对人工智能进行资格认证
在确定人工智能系统应拥有多大的权限之前，组织需要了解在哪些条件下可以信任它来完成特定任务。医疗保健行业已经开始使用人工智能系统。 资格认证体系证据、明确的使用范围、监测和问责机制。人工智能需要与技术能力和行为可能快速变化相匹配的机制。
数据卡、模型卡和风险分析等工具可以记录系统的构成要素、评估方法、预期使用场景、已知局限性和失效模式，以及何时需要进行额外验证。美国食品药品监督管理局将模型卡定义为…… 透明机制与此同时，健康人工智能联盟已经开发出一种 应用模型卡 用于医疗保健。
资格审查应考察评估人群、绩效下降的情况、所依赖的证据、在信息不完整或相互矛盾的情况下采取的行为，以及模型、证据或工作流程变更的影响。美国医疗信息技术政策已朝着更加完善的方向发展。 算法透明度 在认证的健康技术领域。
领域专家对于识别可能出现的故障、后果性例外情况以及专业判断能够实质性地改变决策的要点至关重要。
2. 绘制错误可能进入系统的位置图
资质认证是安全保障的第一层。第二层是理解模型运行的决策过程。人工智能赋能的医疗工作流程可以从底层数据出发，经过背景和证据分析、推理、建议、行动和结果评估。
风险可能在任何阶段出现；数据可能不完整，相关证据可能无法获取。此外，系统可能误解患者情况，在不适用的情况下应用指导，或得出与证据不符的结论。
领域专家对于识别可能出现的故障、后果性例外情况以及专业判断能够实质性地改变决策的要点至关重要。 良好的机器学习实践 同样强调在整个产品生命周期中运用多学科专业知识和关注。
3. 将合适的检查点置于合适的风险水平。
一旦了解了潜在的失败，三个维度可以帮助校准监督：出错的可能性、出错的后果以及由此产生的行动是否可逆。
低风险、可逆的行政任务可以实现高度自动化，但基于模糊信息提出的具有重大意义的临床建议则需要更严格的验证。
不同的风险也需要不同的检查点：
数据检查可以验证数据的完整性和质量。
证据核查可以确认相关来源支持某项建议。
不确定性检查可以标记出相互矛盾的证据或不熟悉的情况。
人工审核环节可以将重大案件转交给最适合评估的专业人员。
该系统还应评估人为因素。人工审核环节并不会自动提升人工智能辅助决策的质量。人机推理的顺序、呈现给审核人员的信息、审核人员的专业知识以及交互设计都会影响最终结果。
因此，各组织应测试人机结合工作流程在实际部署条件下是否能提高决策质量和安全性。
4. 构建以人为主导的架构
我们提出了一种以人为本、以人为主导的人机协作工作流程的运行模式，该模式包含五个要素：
地图： 确定潜在的故障点、其后果以及通过资质和风险分析确定的限制。
探测： 识别不确定性、缺失信息、相互矛盾的证据、异常输出以及系统可能在其合格条件之外运行的迹象。
查看： 采取与风险相称的保障措施，包括数据验证、证据核实、一致性测试或专家评审。如有人工参与，则评估该互动是否能改善最终决策。
升级： 将不确定或后果严重的案件转交给相应的专家，并提供评估决定所需的证据、背景和理由，以便高效地做出决定。
学习： 记录更正、推翻、分歧和后续结果，并利用它们来改进系统和未来检查点的设置。
5. 持续重新资格认证
人工智能能力发展迅速。随着临床证据的不断演进、患者群体的变化、政策的调整以及工作流程的重新设计，资质认证和监管也需要持续进行。例如，《自然医学》杂志上的研究就论证了这一点： 循环本地验证 健康人工智能的性能会因环境和时间的不同而有所差异。
因此，各机构应监测错误模式、权限覆盖、升级率、分歧、模型和数据偏差以及后续结果。临床医生持续的权限覆盖可能揭示了初始评估中遗漏的局限性。
同一类型案件的反复升级可能表明需要更多证据、培训或工作流程重新设计。因此，实际部署应不断更新系统运行的可靠性、其边界以及应拥有的权限范围。
医疗保健领导者应遵循的三项原则
对于医疗保健领导者而言，在引导人机协作工作流程以充分发挥人工智能的优势并确保安全时，有三个关键原则尤为突出：
授权前先核实资格。 确定该系统已经证明其能够做什么，在哪些条件下可以做什么，以及其局限性在哪里。
对监管和人工智能进行资格审查。 将技术和人为检查点与错误的可能性、后果和可逆性相匹配，并评估这些检查点是否能改善人机结合的决策。
持续重新认证。 现实世界的结果、专家干预、模型变化和新出现的故障模式应该为系统和保障措施的重新校准提供依据。
医疗保健可以为更广泛的人工智能治理讨论提供一个切实可行的模型。其目标是构建这样的系统：系统能够理解各项能力，预测风险，确保重要决策可干预，并将人类专业知识置于最能创造价值的位置。
以人为主导意味着对技术进行评估，评估其风险，设计正确的检查点，保持有意义的人为权威，并随着技术和证据的演变不断学习。
