医疗系统领导者对人工智能的问题并不短缺。董事会需要战略。临床医生需要安全性和工作流程整合。监管机构需要问责制。但在所有这些之下，存在一个更基本的问题：临床AI系统究竟被优化用来做什么，谁从中受益？
这个问题成为最近《新英格兰医学杂志》(NEJM) AI虚拟活动的核心，该活动讨论了临床AI中的价值对齐和激励分歧问题。在支付方、医疗服务提供者和技术公司之间，小组成员回归到同一个主题：医疗保健中AI最难的部分不是构建模型，而是将它们与护理交付的现实对齐。
全球模型，本地现实
AI可能大规模构建，但它不会自动以这种方式表现。微软全球首席医疗官David Rhew博士强调，虽然循证医学提供了共同的基础，但实施本质上是本地化的。在一个环境中训练和验证的模型，如果不进行调整，不会可靠地转化为另一个环境。
他的核心观点是，医疗机构不能假设AI会干净利落地泛化。它必须持续评估并适应当地人群、工作流程和文化期望，否则可能会以不明显的方式表现不佳。
这一挑战正在推动更多协作治理方法。Rhew指出，医疗机构之间正在越来越多地分享关于AI性能和监督的见解，创建早期版本的AI部署学习网络。
扩展AI需要护栏和问责制
对于大型组织，对齐挑战迅速增加。在为超过1亿个体提供服务的Elevance Health，AI部署需要Elevance Health首席数据和数字AI转型官Ashok Chennuru所描述的严格、多维度的治理框架。
这包括评估偏见、公平性、可解释性、隐私和鲁棒性，但也需要超越内部系统。他指出，AI决策存在于一个更广泛的生态系统中，包括医疗服务提供者、监管机构和生命科学公司。
一个最清晰的现实例子是预先授权。Elevance正在使用AI自动化授权过程的部分内容，但有一个关键保障：拒绝决定仍需人工审核。该组织还持续审核AI驱动的决策，以确保它们经得起监管审查并且可以清晰解释。
同样重要的是，Chennuru强调了可负担性的视角，使用集成数据——从索赔到临床信息——来指导平衡成本和护理质量的决策。
目标很简单，即使执行并不简单：在应对复杂的财务和监管压力时，将患者放在中心位置。
数据质量和背景仍然定义结果
虽然治理框架正在发展，但一些基本要素没有改变。Lyric首席医疗官Meera Kataria Atkins博士将讨论带回了一个熟悉但经常被低估的问题：数据质量和背景驱动一切。
她的信息很简单：AI系统的优劣取决于其背后的数据和假设。在医疗保健中，背景可以极大地改变"良好"的含义。例如，索赔数据提供了有价值的回顾性见解，但单独来看它是不完整的。临床数据、现实世界的约束和访问问题都以模型必须考虑的方式影响结果。
她提到了一个实际例子：即使循证指南推荐特定疗法，如果患者无法获得治疗，该推荐就会失效。在这种情况下，"最优"的AI推荐可能没有用，甚至不合适。
Atkins还挑战AI开发者不要仅仅强化现有思维。相反，她认为，模型应该帮助临床医生识别盲点和缺失的考虑因素，特别是在患者安全等高风险决策中。
信任是真正的速率限制器
如果在整个对话中反复出现的一个词，那就是信任。Viz.ai首席临床官兼执业外科医生Andrew Ibrahim博士直言不讳：AI的采用速度将仅限于临床医生对其的信任程度。
这种信任在很大程度上取决于透明度。临床医生希望了解推荐是如何生成的，包括使用了哪些数据、优先考虑了哪些信号以及如何得出结论。他建议，黑箱系统在临床环境中根本不会获得认可。
同样重要的是信任如何迅速减弱。Ibrahim指出，即使是临床医生参与度的轻微下降也可能表明更深层次的信心问题，需要立即关注。同时，临床决策的输入正在扩大。患者越来越多地将自己生成的AI见解带入诊疗过程，创造了一个更复杂的多源信息环境。
Ibrahim认为，与其抵制这一趋势，不如视其为不可避免的。他认为，未来将是多模态的——将临床数据、影像、患者生成的见解等整合到一个统一的决策框架中。值得注意的是，他反驳了技术本身是主要限制的观点。在他看来，更大的障碍是治理、政策和财务结构，这些尚未跟上创新的步伐。
超越效率：AI的更大机遇
虽然大部分讨论集中在风险和限制上，但小组成员也指出了更大的机遇。Rhew描述了将复杂临床推理分解为多个协调AI组件（如诊断、测试、证据综合和成本评估）的新兴方法，而不是依赖单一模型。
这种模块化方法不仅提高了性能，还使系统更容易监控和调整。如果一个组件表现不佳，可以在不彻底改造整个系统的情况下进行优化。
更广泛地说，他认为医疗机构可能过于关注效率而低估了AI的潜力。是的，AI可以简化工作流程并减少行政负担。但它更具变革性的潜力在于能够解决以前不可能解决的规模或复杂性的问题。从渐进式改进到根本性重新设计的转变，许多人认为AI的真正影响将在此显现。
对齐是真正的差异化因素
在整个讨论中，一个结论脱颖而出：临床AI的成功不仅取决于模型性能。相反，它将取决于组织如何良好地对齐：
- 利益相关者之间的激励措施
- 系统之间的数据策略
- 与现实世界使用的治理
- 与以患者为中心的结果的技术
技术正在迅速发展。但如果没有这种对齐，即使是最复杂的工具也可能达不到预期。对于医疗领导者来说，任务正变得越来越清晰：少关注AI能做什么，而更多地关注它被设计、激励和信任去做什么。
【全文结束】