研究人员提出可通过添加内置预警提示降低AI聊天机器人复述错误医疗信息的风险
纽约（2025年8月6日）——西奈山伊坎医学院最新研究表明，主流AI聊天机器人对错误医疗信息存在高度易感性，不仅会直接复述虚假内容，还会自信地生成不存在的疾病解释，这凸显了医疗AI应用前必须建立更强防护机制。
研究人员发现，通过在提示词中加入简单警告语可显著降低风险。该成果发表于2025年8月2日《通讯医学》杂志。
研究团队设计了包含虚构医学术语的临床场景（如虚构疾病名、症状或检测指标），测试主流大语言模型的响应。实验分两阶段：第一阶段直接输入含错误信息的临床问题，第二阶段在问题中添加"信息可能不准确"的单行警告提示。
"我们发现AI系统容易被错误医疗细节误导，无论这些错误是有意植入还是意外产生。"首席作者Mahmud Omar博士指出，"AI不仅复述错误信息，还会扩展生成不存在的疾病解释，但简单的单行警告就能大幅减少这类幻觉输出，证明微小防护措施能产生显著效果。"
共同通讯作者Eyal Klang博士强调，实验显示单一虚构术语可能触发完全基于虚构的详细医疗建议。该团队开发的"伪术语检测法"可作为医疗AI压力测试工具，帮助医院、科技公司和监管部门在临床应用前验证系统安全性。
研究通讯作者、西奈山人工智能与人类健康系主任Girish Nadkarni博士认为，该研究揭示了现有AI工具处理医疗信息的盲区。"解决方案不是放弃医疗AI，而是开发能识别可疑输入、谨慎响应并确保人类监督的系统。我们距离这个目标仍有差距，但通过系统性安全措施可以实现。"
论文标题为《临床决策支持中大语言模型的广泛幻觉现象：多模型验证分析》。研究获得美国国家转化科学促进中心资助（UL1TR004419），并使用了西奈山科学计算与数据平台的资源。
【全文结束】
