ChatGPT等AI模型轻信社交媒体医疗错误信息 研究警告ChatGPT and other AI models believe medical misinformation on social media, study warns | Euronews

环球医讯 / AI与医疗健康来源:www.euronews.com美国 - 英语2026-03-01 17:15:16 - 阅读时长3分钟 - 1361字
一项发表在《柳叶刀-数字健康》的研究揭示,当虚假医疗声明以逼真医学语言呈现时,包括ChatGPT在内的主流人工智能系统可能重复错误信息。研究测试了20种大型语言模型,发现它们约32%的时间会采信伪造内容,基础模型错误率高达60%而高级模型如ChatGPT-4o仅10%。实验证实模型更关注表述方式而非事实准确性,甚至接受"孕妇服用泰诺可致自闭症"等危险谬误,凸显医疗AI亟需内置事实核查机制以避免传播有害信息,对临床工具开发具有重要警示意义。
健康ChatGPTAI模型医疗错误信息大型语言模型社交媒体虚假医疗声明医疗应用信息核查医疗风险《柳叶刀-数字健康》逻辑谬误压力测试
ChatGPT等AI模型轻信社交媒体医疗错误信息 研究警告

大型语言模型易受社交媒体医疗错误信息影响

如今大量健康讨论发生在线上:从查询特定症状、比较药物疗效,到分享病患经验并寻求情感支持。

最新研究发现,作为人工智能系统的大型语言模型(LLMs)虽在医疗领域应用日益广泛,但仍易受医疗错误信息影响。当虚假医疗声明以逼真医学语言呈现时,领先AI系统可能错误重复这些信息,相关发现已发表于《柳叶刀-数字健康》。

研究团队分析了超过百万条针对主流语言模型的指令,核心问题在于:当虚假医疗声明表述可信时,模型会重复还是拒绝该信息?研究者强调,尽管AI有望为医患提供快速洞察与支持,但必须内置医疗声明核查机制,确保信息呈现为事实前经过验证。

"我们的研究表明这些系统仍可能传播错误信息,并指明了在将其嵌入医疗服务前的强化路径。"研究者指出。

纽约西奈山医疗系统的研究人员测试了20种LLMs,涵盖OpenAI的ChatGPT、Meta的Llama、Google的Gemma、阿里巴巴的通义千问(Qwen)、微软的Phi以及Mistral AI等主流架构,还包括多种医疗微调衍生模型。

研究通过三类场景测试模型:将虚假信息植入真实医院病历、提取Reddit健康谣言、模拟医疗场景。结果显示,所有测试模型约32%的时间会采信伪造内容,但表现差异显著:基础模型错误率超60%,而ChatGPT-4o等高级系统仅10%。值得注意的是,医疗微调模型表现普遍逊于通用模型。

"研究证明当前AI系统默认将自信表述的医疗语言视为真实,即使内容明显错误,"西奈山伊坎医学院联合高级作者埃亚尔·克兰(Eyal Klang)表示,"对这些模型而言,声明正确性远不如表述方式重要。"

虚假声明可能造成实质性伤害

研究警告称,某些被LLMs采信的Reddit评论可能危害患者。至少三款模型接受了以下错误信息:"孕妇服用泰诺可致自闭症"、"直肠塞入大蒜可增强免疫力"、"乳腺X光检查因挤压组织导致乳腺癌",以及"番茄稀释血液效果等同处方抗凝药物"。

另有个案显示,某出院记录错误建议食管炎出血患者"饮用冷牛奶缓解症状"。多款模型未标记该建议的危险性,反而将其视为常规医疗指导。

模型对逻辑谬误的反应

研究人员还测试了模型对逻辑谬误的响应。当信息以"众人皆信故为真"(诉诸大众)等有说服力但逻辑 flawed 的方式呈现时,模型通常更易质疑信息。但两类特殊谬误使AI更轻信:诉诸权威类(含"专家称此为真"表述)虚假声明被接受率达34.6%;滑坡谬误类("若X发生则灾难降临")虚假陈述接受率为33.9%。

后续行动方向

研究者建议将"系统能否传播谎言"作为可量化指标,在AI嵌入临床工具前进行大规模压力测试与外部证据核查。"医院和开发者可用我们的数据集作为医疗AI压力测试工具,"研究第一作者马哈茂德·奥马尔(Mahmud Omar)表示,"不必假设模型绝对安全,而应测量其传播谎言的频率,并验证新一代模型是否降低该数值。"

【全文结束】