FDA的Elsa AI工具引发准确性和监管问题FDA’s Elsa AI Tool Raises Accuracy and Oversight Concerns

环球医讯 / AI与医疗健康来源:www.appliedclinicaltrialsonline.com美国 - 英语2025-07-31 07:57:25 - 阅读时长5分钟 - 2442字
尽管旨在简化监管审查,但美国食品药品监督管理局(FDA)的Elsa平台出现了错误,包括生成虚假引用和数据幻觉,引发了内部审查和对AI可靠性和治理的质疑。此外,由于FDA人员削减和资源紧张,Elsa目前还无法用于正式的监管评估,外部观察人士也对AI输出的监督框架提出质疑。
FDAAI助手Elsa准确性问题监管评估药物开发健康药物审批审查流程AI应用数据幻觉
FDA的Elsa AI工具引发准确性和监管问题

关键要点

  • 美国食品药品监督管理局(FDA)内部的AI助手Elsa在准确性方面存在问题,包括生成虚假的引用和数据幻觉。
  • 尽管Elsa旨在加速诸如协议审查和标签比较等任务,但其目前的局限性使其无法用于正式的监管评估。
  • AI输出的监督和验证框架尚不明确,引发了对药物开发工作流程中可靠性的担忧。

在7月9日与《应用临床试验》姊妹刊物《制药执行官》的采访中,10XBeta的首席执行官Marcel Botha提到了FDA人工智能(AI)模型“Elsa”在最初发布时遇到的挑战。

Botha表示:“Elsa模型在最初发布时的一个挑战是它容易产生幻觉。这意味着它会编造内容。……当涉及到核心成分和所需组件结构的关键分析时,我们不能让我们的AI这样做。这些是微小偏差就能决定某物是否安全的要素。”

据美国有线电视新闻网(CNN)周三的一份报告称,Elsa的问题仍在持续。该报告引用了六位匿名的FDA官员,其中一些仍在该机构,另一些则最近离职。报告解释称,尽管这种大型语言模型可以生成会议摘要,但它引用了不存在的研究,从而产生了幻觉。

一位匿名的FDA官员告诉CNN:“任何你没有时间双重检查的内容都是不可靠的。它自信地产生幻觉。”

Elsa的发布

Elsa是一款大型语言模型助手,旨在帮助FDA员工更快地“阅读、写作和总结”。该工具可以总结不良事件以支持安全评估,进行快速标签比较,甚至为内部数据库生成代码,同时运行在安全的GovCloud环境中,不训练于行业提交的数据,保护了这些关键的研究数据。

FDA局长Marty Makary博士在6月的一段视频中发布了Elsa,他表示,该机构正在使用Elsa“加速临床协议审查并减少完成科学审查的总体时间”。

Makary在视频中说,一位评审员表示,以前需要几天的任务现在只需6分钟。FDA首席AI官Jeremy Walsh表示:“今天标志着FDA的AI时代开启,随着Elsa的发布,AI不再是一个遥远的承诺,而是一种动态力量,增强和优化每位员工的表现和潜力。”

在接受CNN采访时,Makary承认Elsa像任何大型语言模型一样可能会产生幻觉,员工正在使用它来提高组织和效率,而且使用是可选的。他补充说,Elsa会改进,FDA官员也将更好地使用它。

重塑FDA

2025年,唐纳德·J·特朗普总统的一个重点是减少联邦工作人员,包括在FDA,其中约3500个职位被裁减。许多其他高级官员也离职去从事工业或其他工作。

这导致了一些放缓。4月,《华尔街日报》报道说,FDA错过了截止日期并忽略了行业消息,导致试验延迟。6月,该机构错过了KalVista Pharmaceuticals的sebetralstat的PDUFA数据,理由是“工作量大和资源有限”,根据KalVista的新闻稿。该药物已于7月15日获批。

4月1日,前FDA局长Scott Gottlieb博士发表评论,担心FDA会重回“药物滞后”的时代。

Gottlieb在X(前身为Twitter)上发帖称:“通过一代人的国会行动、专家投资和招聘以及谨慎的政策制定,我们将FDA建成了世界上最高效、前瞻性的药品监管机构,并确立了美国作为生物制药创新的全球中心。如今,对药物发现企业的持续攻击威胁着迅速将这些令人沮丧的延误带回美国消费者,特别是影响罕见疾病和重大未满足医疗需求领域。”

AI的担忧

避免这些延误是AI在管理计划中的重点。卫生与公共服务部长小罗伯特·F·肯尼迪和Makary一直在推动使用AI来简化和加速审查和批准过程。但据CNN报道,目前还远未达到这一目标。两位匿名的FDA员工表示,Elsa还无法协助审查工作。

外部观察人士也开始提出担忧。律师事务所Hogan Lovells在一份客户警报中质疑该工具输出的监管框架、是否存在评估其性能的基准以及如何执行“人在回路”流程。该公司写道:“目前尚不清楚该机构如何定义Elsa的成功,以及是否有防护措施防止AI生成的错误影响监管决策。”

Makary对AI的雄心远不止于行政工具。他在6月发表在《美国医学会杂志》(JAMA)的一篇评论文章中,与合著者、FDA生物制品评价与研究中心主任Vinay Prasad博士一起,概述了对药物申请的“快速或即时审查”、更快的食品安全警报以及通过透明和创新重建公众信任的愿景。他将Elsa和其他机构AI工具的目标比作“曲速行动”的速度,后者帮助在创纪录的时间内交付了新冠疫苗。

AI如何最终提供帮助

在与《Pharm Exec》的采访中,Botha表示,理论上,AI可以帮助FDA进行审查工作。

Botha说:“它可以查看复杂的提交材料,并完成许多分析成分、遵循的流程、检查完整性等历史工作,这些工作通常需要人类完成。它还可以快速检查任何需要人类标记的异常情况,因为它不符合协议或根据过去的经验或数据集理解的协议。”

但像任何大型语言模型一样,时间和训练数据是关键。

Botha解释说:“为了在FDA内制定成功的AI战略,组织必须从用于构建特定药物发现LLM的模型的训练数据集开始。它为大型语言模型提供的框架是什么,以参考最佳的过去实践?同时,采取了哪些防护措施以确保其不会仅仅重复过去70年的现状?”

他补充道:“AI将为FDA带来的好处仍处于机器学习的前沿。”

参考资料

  1. Owermohle, Sarah. FDA的人工智能本应彻底改变药物审批。但它在编造研究。CNN,2025年7月23日。
  2. FDA发布全机构AI工具以优化美国人民的绩效。FDA,2025年6月2日。2025年7月23日访问。
  3. KalVista Pharmaceuticals宣布由于FDA资源限制,FDA将不会在Sebetralstat NDA用于遗传性血管性水肿的PDUFA目标日期。KalVista,2025年6月13日。2025年7月23日访问。
  4. Gottlieb, Scott. X上的帖子。

【全文结束】

大健康
大健康