AI聊天机器人易传播医疗虚假信息 研究强调需加强安全防护

AI chatbots can run with medical misinformation, highlighting need for stronger safeguards

西奈山伊坎医学院研究人员近日发表在《通讯医学》期刊的研究显示，当前广泛使用的AI聊天机器人在医疗场景中存在严重安全隐患——当接收到包含错误医学信息的提问时，这些AI系统不仅会重复错误，还会以专业口吻扩展生成不存在的病症解释。这种现象凸显了在医疗AI应用中建立防护机制的迫切性。

值得注意的是，研究人员通过添加简单的内置警告提示，成功将此类错误显著减少。这项发现为快速发展的医疗AI技术提供了可行的改进路径。研究团队设计了包含虚构医学术语（如假想疾病、症状或检测方法）的模拟患者案例，对主流大语言模型进行测试。测试分为两阶段：首轮未提供任何指导，次轮在提示词中添加单行警告，提醒AI用户输入可能存在不准确信息。

实验结果显示，在无警告情况下，AI系统会自信地对虚构术语进行详细阐释，生成关于不存在病症的完整诊断和治疗方案。而添加警告后，此类错误显著减少。研究通讯作者之一、西奈山医疗系统首席AI官Girish N. Nadkarni指出："这暴露了当前AI工具在医疗场景中的关键漏洞——单个误导性术语就可能触发完全错误的专业判断。但积极的一面是，精心设计的提示工程能有效降低风险。"

该研究的多模型验证分析显示，大语言模型在临床决策支持场景下对对抗性幻觉攻击具有高度脆弱性。研究团队计划将该测试方法应用于真实脱敏患者数据，并开发更高级的安全提示和检索工具。共同通讯作者Eyal Klang博士表示，这种"虚构术语测试法"可作为医疗机构、技术开发商和监管机构的压力测试标准，确保AI系统在临床部署前的安全性。

研究团队建议，医疗AI的开发方向不应是消除所有错误，而是构建能识别可疑输入、主动降低置信度并保留人工复核的系统。当前研究证明，通过优化提示设计等改进措施，实现安全可靠的医疗AI应用是完全可能的。本研究由Mahmud Omar博士领衔，其他作者包括Vera Sorin、Jeremy D. Collins等11位来自西奈山各研究所的专家。

【全文结束】