医疗AI会说谎吗?大型研究揭示大语言模型如何处理健康虚假信息Can medical AI lie? Large study maps how LLMs handle health misinformation

环球医讯 / AI与医疗健康来源:medicalxpress.com美国 - 英语2026-03-03 09:17:45 - 阅读时长4分钟 - 1726字
西奈山伊坎医学院主导的大规模研究发现,当医疗虚假信息嵌入真实医院记录或社交媒体健康讨论中时,当前大语言模型可能无法识别其虚假性而将其作为事实传播,研究团队通过分析九个主流AI模型在超百万条提示下的表现揭示,现有安全措施难以区分专业表述的真假信息,例如错误建议"饮用冷牛奶缓解食管出血症状"的出院记录被多个模型接受为标准指导,这凸显模型更易受表述方式而非事实准确性的影响,强调在AI临床应用前必须实施系统性压力测试和外部证据核查,以防止错误医疗建议扩散并保障患者安全,研究成果为构建更可靠的医疗AI系统提供了关键验证框架。
医疗AI大语言模型健康虚假信息临床记录社交媒体医疗谎言虚假医疗声明安全措施西奈山伊坎医学院柳叶刀·数字健康
医疗AI会说谎吗?大型研究揭示大语言模型如何处理健康虚假信息

医疗人工智能(AI)常被描述为通过帮助临床医生管理信息来提高患者护理安全性的方法。西奈山伊坎医学院(Icahn School of Medicine at Mount Sinai)及其合作者的一项新研究直面一个关键漏洞:当医疗谎言进入系统时,AI是否会将其当作真相传播?

通过对九个领先大语言模型的超过一百万条提示进行分析,研究人员发现,当虚假医疗声明出现在真实的医院记录或社交媒体健康讨论中时,这些系统可能会重复这些错误信息。

这项发表在《柳叶刀·数字健康》(The Lancet Digital Health)杂志上的研究表明,一旦声明被包裹在熟悉的临床或社交媒体语言中,当前的安全措施无法可靠地区分事实与虚构。论文题为“映射大语言模型在临床记录和社交媒体中对医疗虚假信息的易感性”(Mapping LLM Susceptibility to Medical Misinformation Across Clinical Notes and Social Media)。

为了系统地测试这一点,研究团队让模型接触三类内容:从重症监护医学信息库(Medical Information Mart for Intensive Care, MIMIC)数据库中获取的真实医院出院总结,其中添加了一个伪造的建议;从红迪网(Reddit)收集的常见健康谣言;以及由医生编写并验证的300个简短临床情景。每个案例以多种版本呈现,从中性表述到情绪化或引导性措辞,类似于在社交平台上流传的内容。

例如,一份出院记录错误地建议患有食管炎相关出血的患者“饮用冷牛奶以缓解症状”。多个模型接受了这一陈述,而不是将其标记为不安全。它们将其视为常规医疗指导。

“我们的研究发现表明,当前的AI系统默认将自信的医疗语言视为真实,即使它明显错误,”西奈山伊坎医学院温德赖希人工智能与人类健康系(Windreich Department of Artificial Intelligence and Human Health)生成式AI负责人、共同资深作者兼共同通讯作者艾亚尔·克朗格医学博士(Eyal Klang, MD)表示。

“出院记录中的伪造建议可能会溜过检测。它可能被当作标准护理重复传播。对于这些模型,声明是否正确不如其书写方式重要。”

作者表示,下一步是将“该系统能否传播谎言?”视为可测量的属性,在AI集成到临床工具之前,使用大规模压力测试和外部证据核查。

“医院和开发者可以将我们的数据集用作医疗AI的压力测试,”研究团队顾问、医师科学家兼第一作者马哈茂德·奥马尔医学博士(Mahmud Omar, MD)表示。“与其假设模型是安全的,不如测量它传播谎言的频率,以及这个数字在下一代中是否会下降。”

“AI有潜力真正帮助临床医生和患者,提供更快的洞察和支持,”西奈山伊坎医学院温德赖希人工智能与人类健康系主任、哈索·普拉特纳数字健康研究所(Hasso Plattner Institute for Digital Health)所长、伊莲和亚瑟·M·费什伯格医学教授(Irene and Dr. Arthur M. Fishberg Professor of Medicine)、西奈山医疗系统(Mount Sinai Health System)首席AI官吉里什·N·纳德卡尼医学博士兼公共卫生硕士(Girish N. Nadkarni, MD, MPH)表示。

“但它需要内置的安全措施,在医疗声明被呈现为事实之前进行核查。我们的研究展示了这些系统仍可能传播虚假信息的地方,并指出了在它们嵌入护理之前我们可以加强它们的方法。”

更多信息

《映射大语言模型在临床记录和社交媒体中对医疗虚假信息的易感性》(Mapping LLM Susceptibility to Medical Misinformation Across Clinical Notes and Social Media),《柳叶刀·数字健康》(The Lancet Digital Health)(2026)。DOI: 10.1016/j.landig.2025.100949

【全文结束】