FDA呼吁安全有效的AI工具

FDA pitches for safe, effective tools in AI

美国食品药品监督管理局（FDA）官员指出，在快速增长的人工智能（AI）领域中，需要安全、有效和值得信赖的工具，这不仅涉及该机构的监督，还需要利益相关者的合作以适应AI的独特挑战。FDA的Haider Warraich及其同事在《美国医学会杂志》（JAMA）上发表的一篇特别通讯中解释说：“生物医学和医疗保健领域中AI的历史性进展必须与更好地理解AI在其部署环境中表现的努力相匹配。这将需要一个全面的方法，远远超出FDA的范围，涵盖消费者和医疗生态系统，以跟上加速的技术进步。”

FDA官员概述了与AI相关的领域中需要更好的理解和关注，包括全球监管、跟上AI的变化、灵活的方法、在医疗产品开发中的应用、应对未知因素、生命周期管理、受监管行业的责任、强大的供应链、融入初创企业和学术界的想法，以及从追求财务回报转向优先考虑健康结果。如果没有这些努力，AI可能会无法达到预期，类似于其他在医疗保健环境中部署的通用技术，甚至可能造成重大危害，如果未经妥善管理的模型性能下降或过于关注财务回报而忽视临床结果的影响。

自1995年FDA首次批准使用AI的设备以来，该机构已批准了超过1,000种基于AI的医疗设备，自2020年以来，基于AI的设备提交数量增加了十倍。为此，该机构更频繁地讨论AI，于2022年发布了一项有争议的最终指南文件，涉及临床决策支持（CDS）软件，包括基于AI的应用程序，并于2024年3月发表了一篇论文，阐述了FDA及其中心如何调整其监管方法以用于医疗产品中的AI。（相关：行业组织要求FDA撤回CDS指南，监管焦点 2023年2月9日）

美国的AI监管需要与全球标准一致，作者指出FDA是国际医疗器械监管机构论坛（IMDRF）工作组的一部分，该工作组专注于AI，同时也是国际协调委员会（ICH）工作组的一部分。AI在医疗设备中的监管需要灵活的方法，“基于风险的监管方法需要仔细考虑和适应”，作者表示，不同的AI模型在医疗保健中可能存在于FDA在监管方面参与程度不同的设备中。FDA和利益相关者还需要跟上AI的发展步伐，这需要“适应性强、基于科学的监管方案”，该机构通过其对医疗设备全生命周期方法的关注和支持软件预认证试点计划来实现这一点。“这些变化的数量及其影响也表明，行业和其他外部利益相关者需要加强AI在整个更大生态系统中的评估和质量管理，超越FDA的职责范围。”他们写道。

关于AI在医疗产品开发中的应用，作者指出，该机构“看到AI在药物开发和临床研究中的巨大潜力”，在上市前设置、上市后监测和评估中也是如此。“通过分析大量真实世界数据，AI系统可以检测到模式和异常，这可能提高发现潜在安全问题、意外好处或性能不足的能力。”作者解释道。“这种主动的方法可以更快地识别不良事件，从而及时进行干预和纠正。此外，AI可以综合分析临床试验、上市后监测和患者反馈，提供产品生命周期的全面概览，涵盖以前分离的领域。”

AI领域的独特挑战之一是生成式AI如大型语言模型（LLMs）周围的潜在未知因素，这将需要来自个人和组织的监督，除了监管审查外，可能还需要专门工具来评估生成式AI的输出。AI的性能还应在“其使用环境”中进行评估，作者表示，这可能需要一个“类似重症监护室中监测患者的”信息生态系统，在采用此类AI工具的卫生系统中。作者解释说：“AI的演变说明了一个重大的质量和监管困境。由于许多AI模型的安全性和有效性取决于对其操作特性的反复评估，所需的努力规模可能超出任何当前的监管方案。”虽然传统医疗产品在分发时基本相同，但AI驱动的医疗产品却并非如此。

AI驱动的医疗产品的另一个考虑因素是其在通过预测或快速响应缓解短缺方面的潜在用途，特别是在仿制药或低成本设备领域。然而，AI模型可能容易出现停机和短缺，减少这些模型对技术停机的脆弱性“必须成为这些技术的一部分”。作者表示，“众多挑战之一将是确定所有开发者，包括小型实体，确保AI模型在多样化设置中整个产品生命周期内安全有效的艰巨任务。”这包括平衡新进入者和较小参与者（如初创企业、企业家和学术机构）的新鲜想法与大型技术公司所需的“资本、计算资源和专业知识”的需求。

FDA还认识到在优化AI技术的财务回报与选择优先考虑健康结果之间的紧张关系。“许多可能使患者受益的AI创新可能以牺牲传统的医疗保健工作、资本结构和收入流为代价。”他们解释道。“然而，太多美国居民生活在医疗沙漠中，即使在许多医生密集的地区也存在初级保健短缺，AI算法可以指出目前不盈利的更多预防服务。”作者指出，需要“有意关注健康结果”以克服优化财务回报的负面影响，而“负责任的集体进步”将需要超越该机构职责范围的广泛合作。“FDA和其他机构的严格监督旨在通过维持受监管领域的高公众信任度来保护受监管产品的长期成功。符合生物医学、数字和医疗保健行业的利益，识别和处理不负责任的行为者，并避免误导性的夸大宣传。”作者表示。“受监管行业、学术界和FDA需要开发和优化评估AI在医疗保健和生物医学中持续安全性和有效性的工具。FDA将继续发挥核心作用，重点关注健康结果，但所有相关行业都需要以这种潜在变革性技术应得的谨慎和严谨对待AI。”

(全文结束)