食品和药物管理局（FDA）在其首次数字健康咨询委员会会议上，探讨了如何监管医疗设备中的生成式人工智能（AI）。迄今为止，该机构已授权近1000种AI驱动的医疗设备，但这些设备中没有一种使用自适应或生成式AI。然而，这项技术正在其他不受FDA监管的医疗保健应用中进行探索，例如为医生生成临床笔记。
“为了最有效地履行我们作为公共卫士的职责，我们必须拥抱这些突破性的技术，不仅是为了跟上我们监管的行业步伐，还要通过监管渠道和监督来提高这些技术被有效、一致和公正应用的可能性，”FDA专员罗伯特·卡利夫（Robert Califf）在11月的会议上表示。
以下是他们讨论的四个要点：
1. 患者希望知道何时使用AI
当格蕾丝·科多瓦诺（Grace Cordovano），患者倡导组织Enlightening Results的创始人，收到她的最新乳房X光检查结果时，结果显示使用了“增强乳腺癌检测软件”。尽管结果正常，但测试发现了一些良性病变。科多瓦诺联系了影像中心，因为她想知道这些发现来自何处，或者她是否可以获取未使用AI处理的乳房X光片进行比较。
“我得到的回答是‘女士，我们不做这个，’”科多瓦诺告诉咨询委员会。“一个月后，我收到了一封令人困惑的信，说基于你的乳房X光片，你现在需要去做MRI。所以这里存在不一致的地方，我在意，我要深入了解。”
科多瓦诺表示，根据最近的一项调查，大约91%的患者希望被告知在他们的护理决策或沟通中是否使用了AI。患者还应被视为生成式AI驱动医疗设备的最终用户，并有机会在AI应用于其护理时提供结构化的反馈。
2. 健康公平性是生成式AI辩论的核心
FDA设备和放射健康中心主任米歇尔·塔弗（Michelle Tarver）讨论了AI在扩大对资源较少社区的人们——老年人、种族和族裔少数群体以及居住在远离医疗设施的小城镇的人们——的护理方面的潜力。然而，这种潜力也伴随着技术可能加剧现有健康不公平的担忧。
“这是一场关于如何以公平和道德的方式推进事物的集体对话，这需要让每个人参与进来，”塔弗说。
咨询委员会成员、Therapy is for Everyone的创始人兼首席执行官杰西卡·杰克逊（Jessica Jackson）表示，设备性能的公平性应该是一个指标，而不仅仅是锦上添花。
“历史上，我们在临床试验中没有公平地纳入边缘化社区的数据，我们认为这已经足够好了，”杰克逊说。“对于生成式AI来说，这种情况需要改变，因为我们将使用这些数据训练未来的模型。”
目前，FDA要求制造商在上市前审查过程中分享其AI驱动设备的整体安全性和有效性评估，包括基于设备预期用途和特性的研究多样性评估。数字健康卓越中心副主任索尼娅·富尔默（Sonja Fulmer）表示，该机构已因表现数据不足而拒绝了一些产品。
杰克逊表示，该机构应明确要求AI驱动设备在不同社区中表现出公平性，无论是上市前还是上市后。
3. 医院仍在开发生成式AI的最佳实践
会议上的医院代表概述了他们评估AI的框架，但他们也警告说，医疗机构尚未准备好在没有监督的情况下使用这项技术。
“我四处打听，我相信在美国没有任何一个卫生系统能够验证在临床护理系统中实施的AI算法，”卡利夫说。
HCA Healthcare的高级副总裁兼护理转型和创新负责人迈克尔·斯洛瑟（Michael Schlosser）表示，这家营利性医院系统已经制定了评估和实施AI的框架。任何在患者护理中使用AI的人都必须接受培训。
斯洛瑟补充说，该组织尚未准备好将患者的治疗、诊断或其他护理方面作为生成式AI模型的最终结果。
“我们非常谨慎地使用生成式AI，”斯洛瑟说。“我们仍然需要从这些模型中学习很多东西，了解它们的表现以及为什么会有这样的表现。”
4. 如何建立发现和报告错误的流程
生成式AI模型因其性质带来了新的监管挑战。
“与传统AI模型预测或分类数据不同，生成式AI产生输出，这可能会增加额外的监管复杂性，”FDA数字健康卓越中心主任特洛伊·塔兹巴兹（Troy Tazbaz）在活动中表示。
小组成员关注的一个领域是识别错误并为生成式AI模型设定界限的挑战。
Radiology Partners的临床AI副首席医疗官尼娜·科特勒（Nina Kottler）表示，该实践使用了一种生成式AI工具，该工具读取放射学报告并生成“印象”部分的摘要。放射科医生会在发送报告前检查并编辑该部分。
虽然该工具未被监管为医疗设备，但Radiology Partners通过让一组放射科医生查看3000份报告，并将AI生成的印象与最终编辑版本进行比较，评估了该技术。AI生成的印象的临床显著错误率为4.8%，而经放射科医生编辑后的最终结果错误率为1%。
“很难对放射科医生说，在每次检查中都要小心，因为5%的时间它会出错，”科特勒说。
例如，生成式AI可能会基于模式错误地推断事物。在一个例子中，放射学报告提到了股骨，但没有具体说明哪条腿。AI模型“猜测”是右股骨，但实际上报告提到的是左股骨。
它还可能提出不适当的建议，例如对良性病变进行随访MRI扫描。
“我们对这一AI模型的验证表明，它不应自主运行，”科特勒说。
Oncology Care Partners的切冯·拉里（Chevon Rariy）表示，FDA可以在定义生成式AI下的不良事件和错误方面发挥作用，并确保公司有流程来确定模型是否需要额外的“护栏”。
“也许作为FDA，我们可以阐明需要有一个流程，”拉里说。“设备制造商将如何监控和遵守各种错误出现时的流程？”
拉里补充说，该流程应包括患者和用户在发现错误时的明确报告机制。
(全文结束)
