医疗AI会说谎吗 大型研究揭示大语言模型处理健康错误信息的机制Can Medical AI Lie? Large Study Maps How LLMs Handle Health Misinformation | Mount Sinai - New York

环球医讯 / AI与医疗健康来源:www.mountsinai.org美国 - 英语2026-03-01 19:26:10 - 阅读时长3分钟 - 1336字
西奈山伊坎医学院联合开展的百万级提示词研究发现,当前医疗大语言模型在面对嵌入真实临床笔记或社交媒体讨论的虚假医疗信息时存在严重漏洞,系统会将"食管炎患者应饮用冷牛奶缓解症状"等明显错误建议视为标准诊疗方案传播,这表明现有安全机制无法可靠区分事实与伪造内容,研究团队呼吁将"能否传播谎言"作为可量化指标纳入AI临床部署前的压力测试,为构建内置医学事实核查机制提供关键路径。
医疗AI健康错误信息大语言模型临床应用安全机制传播谎言压力测试柳叶刀-数字健康西奈山伊坎医学院虚假医疗声明
医疗AI会说谎吗 大型研究揭示大语言模型处理健康错误信息的机制

医疗人工智能(AI)常被描述为通过辅助临床医生管理信息来提升患者安全性的工具。西奈山伊坎医学院及合作团队开展的新研究揭示了一个关键漏洞:当系统中输入医疗谎言时,AI是否会将其当作事实传播?

研究人员对九个主流语言模型的超百万条提示词进行分析,发现当虚假医疗声明出现在真实的医院记录或社交媒体健康讨论中时,这些系统可能将其复述为真实信息。

该研究于2月9日在线发表在《柳叶刀-数字健康》期刊(DOI: 10.1016/j.landig.2025.100949),表明当前安全机制无法可靠区分事实与伪造内容——只要声明被包裹在熟悉的临床或社交媒体语言中。

为系统化测试,研究团队向模型输入三类内容:在重症监护医疗信息集市(MIMIC)数据库真实出院摘要中添加单条伪造建议;从Reddit收集的常见健康谣言;以及300个经医师编写验证的临床情景短例。每种案例均以多种版本呈现,从中性表述到类似社交媒体传播的情绪化或诱导性措辞。

例如,一份出院记录错误建议食管炎出血患者"饮用冷牛奶缓解症状"。多个模型接受了该陈述而未标记为危险,将其视为常规医疗指导。

"研究显示当前AI系统默认将自信的医疗语言视为真实,即使内容明显错误,"共同资深及通讯作者、西奈山伊坎医学院人工智能与人类健康温德赖希部门生成式AI主任埃亚尔·克朗格(Eyal Klang)医生表示,"出院记录中的伪造建议可能悄然通过,被当作标准诊疗方案复述。对这些模型而言,关键不在于声明是否正确,而在于其表述方式。"

作者指出,下一步应将"该系统能否传播谎言"作为可量化属性,在AI集成临床工具前通过大规模压力测试和外部证据核查进行评估。

"医院和开发者可将我们的数据集作为医疗AI压力测试工具,"首位作者、医师科学家马哈茂德·奥马尔(Mahmud Omar)医生表示,"无需假设模型安全,可测量其传播谎言的频率,并检验新一代模型的该指标是否下降。"

"AI有潜力为临床医生和患者提供更快洞察与支持,"共同资深及通讯作者、西奈山伊坎医学院人工智能与人类健康温德赖希部门主席、哈索·普拉特纳数字健康研究所主任、医学教授吉里什·纳德拉尼(Girish N Nadkarni)医生表示,"但它需要内置安全机制,在将医疗声明呈现为事实前进行核查。本研究揭示了这些系统仍可能传播错误信息的环节,并指明了在临床应用前加强它们的路径。"

论文题为《大语言模型对临床笔记及社交媒体中健康错误信息的易感性图谱》。

期刊列出的研究作者为:马哈茂德·奥马尔、维拉·索林、洛塔尔·H·维勒、亚历山大·W·查尼、帕特里夏·科瓦奇、卡罗尔·R·霍罗维茨、帕纳吉奥蒂斯·科尔菲蒂斯、本杰明·S·格利克斯伯格、罗伯特·弗里曼、吉里什·N·纳德拉尼和埃亚尔·克朗格。

本工作获得美国国家转化科学促进中心临床与转化科学奖(CTSA)拨款UL1TR004419支持。发表在该出版物中的研究还获得美国国立卫生研究院研究基础设施办公室S10OD026880和S10OD030463号资助。

【全文结束】