随着医院迅速采用人工智能技术，开源护栏可以帮助更好地确定某个工具是否符合其系统的伦理标准、有用性和现实性。12月2日，Vignesh Ramachandran在斯坦福大学发布了一篇文章，介绍了这一框架。
医疗AI工具承诺改善患者诊断、减轻医生工作负担并改进医院运营。但这些工具是否兑现了它们的承诺？为了回答这个问题，斯坦福学者开发了一个开源框架，使医院系统能够确定某项AI技术是否会为其工作流程和患者结果带来更多的好处而不是弊端。通常情况下，部署现成AI工具的医疗服务提供者没有有效的过程来监测这些工具的长期效用。这就是斯坦福框架可以发挥作用的地方：公平、有用和可靠的AI模型（FURM）指导原则已经在斯坦福医疗保健中使用，评估的技术范围从外周动脉疾病的早期检测器到癌症患者的预测风险模型，再到胸部扫描分析模型，该模型可以评估某人是否可以从他汀类药物处方中受益。
“我们校园的一个关键见解是，任何AI解决方案或模型的好处与其操作的工作流程密不可分，以及我们是否有时间和资源在繁忙的医疗环境中实际使用它。”FURM框架的共同创建者、斯坦福医学和生物医学数据科学教授兼斯坦福医疗保健首席数据科学家Nigam Shah博士表示。
Shah指出，其他学者和开发者正在制定指南以确保AI的安全性和公平性，但一个关键的差距在于评估技术的实用性和其现实实施，因为适合一个医疗系统的工具可能不适合另一个系统。
FURM如何工作
FURM评估分为三个步骤：
- 是什么和为什么：了解AI模型将解决什么问题，其输出将如何使用，以及对患者和医疗系统的影响。这一过程还包括预测财务可持续性和评估伦理考虑。
- 如何实现：确定是否可以按预期将模型部署到医疗系统的工作流程中。
- 影响：计划初始验证效益以及模型上线后的输出监控方式，评估其工作效果。
Shah认为，正如在斯坦福所做的那样，FURM可以帮助医疗系统更好地利用时间，专注于值得追求的技术，而不是盲目尝试每一种工具。“你可能会患上所谓的‘试点病’，这种‘疾病’会影响组织，导致你不断进行毫无进展的试点项目。”Shah说。
此外，Shah强调要考虑影响的规模：一个模型可能很好，但只能帮助50名患者。
超越投资回报率
斯坦福法律和卫生政策教授Michelle Mello强调，AI还具有必须关注的伦理影响。Mello和斯坦福麻醉学、围手术期和疼痛医学副教授兼实证生物伦理学研究员Danton Char创建了FURM框架的伦理评估部分，旨在帮助医院主动应对潜在的伦理问题。例如，伦理团队建议实施者如何制定更强大的流程来监控新工具的安全性，评估是否以及如何向患者披露新工具，以及考虑AI工具的使用是否会扩大或缩小患者亚群之间的医疗差异。
心血管医学临床助理教授Sneha Jain博士是FURM的共同创建者之一，她参与了开发在工具上线后前瞻性评估AI工具的方法，以及设计使FURM框架更易于外部系统访问的方式。她目前正在建立斯坦福GUIDE-AI实验室，该实验室的目标有两个：一是确保我们继续改进AI评估过程，二是确保不仅高度资源化的医疗系统能够负责任地使用AI工具，而且低技术预算的医院也能如此。Mello和Char正在为伦理评估过程开展类似的工作，资金来自患者为中心的结果研究所和斯坦福影响实验室。
“AI工具正迅速被部署到医疗系统中，监督和评估的程度各不相同。”Jain解释道，“我们的希望是，我们可以民主化这些工具及其相关工作流程的强大而可行的评估过程，以改善美国乃至全球患者获得的护理质量。”
展望未来，这个跨学科的斯坦福研究小组希望继续调整FURM框架，以满足不断变化的AI技术需求，包括快速变化和发展的生成式AI。
“如果你制定的标准或流程对于人们来说不可行，他们就不会执行。”Mello补充道，“我们工作的关键部分是弄清楚如何有效实施工具，尤其是在每个人都急于快速推进的领域。”
(全文结束)
