FDA的人工智能本应革新药物审批,却在生成虚假研究FDA’s artificial intelligence is supposed to revolutionize drug approvals. It’s making up studies

环球医讯 / AI与医疗健康来源:edition.cnn.com美国 - 英语2025-08-01 09:19:07 - 阅读时长3分钟 - 1337字
美国食品药品监督管理局(FDA)推出的人工智能工具Elsa被曝存在严重缺陷,包括虚构并不存在的研究结论和错误解读科研数据。尽管该AI系统被宣传为能加速药物审批流程的革命性工具,但其生成错误信息的特性导致科学家必须投入额外时间核查,反而降低了工作效率。文章深入揭示了Elsa在药物审批流程中的实际局限性,以及当前美国在医疗AI监管方面的空白状态,同时对比了欧盟AI监管法案的严格性,展现了全球AI医疗应用监管体系发展的不平衡性。
FDA人工智能ElsaAI系统药物审批健康虚假研究医疗数据管理医疗AI监管脂肪肝疾病治疗药物患者安全
FDA的人工智能本应革新药物审批,却在生成虚假研究

在特朗普政府官员的描述中,人工智能已经抵达华盛顿,承诺加速救命药物上市、优化庞大健康机构的工作流程,并在不损害职能的前提下削减政府开支。

"人工智能革命已经到来,"美国卫生与公共服务部(HHS)部长小罗伯特·F·肯尼迪近期在国会听证会上宣布。他在6月向众议院能源与商业委员会表示:"我们已经在HHS使用这项技术进行医疗数据管理,并完美确保数据安全,同时加快药物审批速度。"

然而在幕后,这个由HHS下属机构食品药品监督管理局(FDA)开发的Elsa AI系统却引发了担忧。根据6位现任和前任FDA官员(要求匿名讨论敏感内部事务)向CNN透露,Elsa在生成会议纪要、电子邮件模板等方面确实有用,但也会出现生成不存在的研究成果(即AI"幻觉")或错误解读研究数据的情况。

"任何无法双重验证的内容都不可靠。它会自信地制造错误,"一位FDA员工表示。另一位员工则抱怨:"AI本应节省时间,但反而浪费了我大量精力进行核查。"

目前Elsa无法协助进行药物和医疗器械的审批评估工作——这是FDA科学家耗费大量时间的核心任务。两位FDA员工指出,这是因为该系统无法访问关键文档,比如企业的申报材料,无法回答诸如企业申请次数、已上市相关产品等基本问题。

FDA局长马蒂·马卡里博士曾声称Elsa将彻底改革美国药物和医疗器械审批体系,但目前几乎没有联邦机构对医疗AI应用进行监管。马卡里在FDA总部接受CNN采访时承认,目前科学家主要使用Elsa的"组织能力",如查找研究资料和会议摘要。

FDA首席AI官杰里米·沃尔什承认Elsa确实存在生成虚假研究的问题。"Elsa与许多大型语言模型和生成式AI没有区别,可能会产生幻觉,"他告诉CNN。不过他补充,随着FDA将在未来几周内更新程序、允许用户上传文档到个人资料库,这种情况将得到改善。

在演示环节,Elsa的界面显示纯白底色配深棕标识,用户可以输入"向Elsa提问"。当被要求总结关于脂肪肝疾病及治疗药物的指南时,Elsa从内部资料库调取了10篇最相关的论文。但有员工指出,如果Elsa对20页的新药研究仅生成一段摘要,使用者根本无法判断是否存在重要遗漏或误读。

沃尔什承认用户需要验证Elsa的工作成果,并强调正在通过培训和个人文档库等新功能来弥补系统缺陷。但他也指出,随着AI模型的改进和反馈机制的完善,Elsa的表现正在提升。

值得关注的是,虽然特朗普政府大力推动AI在医疗领域的应用,但美国目前缺乏系统的监管框架。相比之下,欧盟在2024年已实施《人工智能法案》,对包括医疗在内的高风险AI应用建立了严格监管体系。马卡里和沃尔什表示已有超过半数FDA员工使用过Elsa,但匿名员工称实际使用率远低于预期。

斯坦福大学医学副教授乔纳森·陈指出:"AI不是魔法。虽然理论上可以帮助专家发现数据造假或进行患者安全分析,但这些问题是机器难以精准把握的。"他形容当前状态犹如"狂野西部",技术发展速度之快已超出理解范畴。

【全文结束】

大健康
大健康