作者：甘尼什·纳特拉（Ganesh Nathella）
人工智能在医疗保健领域不会因模型能力薄弱而失败，而是会因领导者犹豫不决于重新设计决策、衡量和治理方式而陷入停滞。
医疗保健机构部署自主人工智能的速度在过去两年间变得难以想象地迅速。最初仅限于狭窄应用场景的试点项目，现已扩展为生产系统，这些系统日益影响着日常的诊断决策、后台流程和患者互动。这种加速发展带来了一个紧迫挑战：医疗领导者如何在不引入新的临床风险或运营不确定性的情况下扩展自主人工智能？
这个问题现在已成为AI采用决策的核心。自主代理已经影响着理赔处理、临床分诊、文档记录和患者互动工作流程。关注点已从能力转向治理和风险控制是否能足够快地发展以支持企业级规模。
差异往往在于治理如何从一开始就整合。例如，在放射学领域，AI代理预筛选和分诊常规影像学研究，清除低风险扫描并标记潜在异常以供优先审查。放射科医生仅在临床复杂性需要时进行干预，对高风险诊断保持严格监督，同时自动化常规处理量。这种模式使得从被动响应转向更具预测性和预防性的护理成为可能。那些在部署前定义监督框架的组织，比那些事后增加控制的组织发展更快且运营更有保障。
麦肯锡（McKinsey）指出，医疗AI正从点解决方案转向模块化、企业级架构，数据治理是规模扩展的基础。这种企业级方法要求在每一层都明确责任。将治理视为合规的组织会为临床和运营团队带来不确定性。那些将治理融入开发、工作流程和绩效衡量的组织则能安全、自信地推进创新。
将安全护栏转化为部署加速器
医疗AI团队通常将监管验证视为必要但资源密集的步骤。传统的资质认证流程，如安装资质认证（IQ）、操作资质认证（OQ）和性能资质认证（PQ），严重依赖手动文档。这延长了发布周期并延迟了价值实现，带来了更广泛的影响。医疗系统已在显著的成本压力下运营，当创新周期停滞时，效率低下会迅速累积。世界经济论坛（World Economic Forum）估计，全球医疗保健支出中至少有20%是浪费的，这强化了对提高效率而不损害临床责任的AI系统的需要。
领先的医疗组织现在正在自动化保障工作流程。当合规性和验证检查直接嵌入到开发流程中时，安全护栏从静态检查表转变为持续监督。能够生成审计追踪并根据安全协议测试输出的自主系统，使组织能够在保持监管严格性的同时更快地引入改进。
定义临床监督阈值
有效治理始于定义AI可以独立行动以及必须服从临床判断的地方。实践中，医疗领导者正在围绕"人在回路中"（human-in-the-loop）和"人在环上"（human-on-the-loop）模型进行区分。
"人在回路中"适用于高风险或不可逆的决策，如临床诊断、药物变更或可能影响患者获取的高价值理赔决策。在这些场景中，需要临床医生批准，或当AI置信度低于定义的安全阈值时，工作流程会被升级。相比之下，"人在环上"适用于低风险任务，涉及可逆的行政工作流程，如日程安排、转录和文档路由。在这些环境中，AI代理可以自主执行任务，而临床医生则通过回顾性仪表板和定期审计监控结果。这种方法在保留临床权威的同时，允许自动化减少运营负担。
将治理政策转化为工程控制
只有在护理点能够一致执行时，治理框架才有效。高层级政策必须转化为规范临床环境中AI的确定性工程控制。现代化和干净、统一的数据仍然是前提条件，因为AI性能取决于为临床工作流程提供数据的质量和可追溯性。
这通常涉及将安全参数嵌入到围绕概率AI模型的执行层中。虽然生成式系统可以产生适应性输出，但确定性控制确保在未满足预定义安全条件的情况下，临床行动不能继续。将治理政策转化为可执行的保障措施，使医疗组织能够在保持可预测和负责任的护理交付的同时扩大AI采用。
减轻行政负担而不造成警报疲劳
在医疗保健中扩展AI的一个意外风险是用过度的验证要求取代手动工作。要求持续临床医生干预的系统往往只是转移工作量，而非真正减轻它。当治理设计不佳时，它会产生摩擦而非减少摩擦。
行政负担仍然是医疗运营中最紧迫的挑战之一。根据美国医学会（American Medical Association）的一项调查，93%的医生报告称预先授权延迟了患者护理，89%表示这导致了医生倦怠。这些压力强化了对简化工作流程的AI系统的需要。
更有效的AI代理通过静默审查工作流程运作。它们分析患者记录，综合临床背景并生成草案建议或文档，临床医生可以在一次交互中批准、修改或拒绝。这保留了临床判断，同时减少了行政复杂性并支持提供者生产力。在高级医疗审查环境中，生成式AI系统将上传的患者数据和定义的医疗标准合成为结构化摘要和初步建议，符合国家综合癌症网络（NCCN）等标准审查框架。临床团队随后验证每个结论，在保持监督的同时将周转时间从数天减少到数小时。
安全自主的三个指标
仅速度和成本节省并不能表明AI系统在医疗保健中是否安全运行。领导者需要反映责任和临床信心的指标。
- 干预率衡量临床医生必须修正或拒绝代理输出的频率。上升的干预率是模型漂移和可靠性下降的早期信号。
- 协议依从性追踪代理决策与既定临床指南的一致性，如国家综合癌症网络（National Comprehensive Cancer Network，NCCN）针对肿瘤学护理的循证治疗协议。这确保输出不仅合理，而且合规。
- 可解释性评分评估代理能否清楚引用每个决策背后的数据或事实来源。在临床环境中，信任取决于可追溯性。
这些指标为评估安全自主提供了实用框架，并使医疗组织能够清晰地实现AI操作化。
使治理成为领导力要务
人工智能在医疗保健领域不会因模型能力薄弱而失败，而是会因领导者犹豫不决于重新设计决策、衡量和治理方式而陷入停滞。现在需要的转变是实用的。医疗高管应定义与临床风险相关的明确自主边界，投资于自动执行政策的工程控制，并通过可衡量的安全指标对AI系统负责。治理应该像模型开发一样，得到预算、人员配备和紧迫性。
医疗领导者现在应该超越添加审查层，而是将可执行的安全护栏直接嵌入工作流程中，使创新和监督共同前进。那些以这种方式操作治理的组织，将比那些将其视为最终检查点的组织更快、更有临床信心地前进。
照片：Pakorn Supajitsoontorn，Getty Images
【全文结束】