西奈山伊坎医学院的研究团队发现，AI聊天机器人在医疗场景中存在重大安全隐患。当研究人员向大语言模型输入包含虚构疾病名称、症状或检查项目的假想病例时，这些AI系统会"系统性"地生成基于虚假信息的详细诊断结论。《自然》子刊《通讯医学》发表的研究显示，AI不仅会重复错误信息，还会"自信地"扩展虚假医学解释。
研究共同通讯作者埃亚尔·克兰格医学博士指出："我们的测试表明，只要输入一个虚构的医学术语，AI就会生成完全基于虚构的明确诊断。"值得注意的是，通过添加"输入信息可能存在错误"的提示词，模型的错误响应率显著降低了近50%。
该研究团队建议技术开发者采用这种"虚假术语检测法"作为医疗AI系统的测试标准。共同作者吉里什·纳德卡尼博士强调："解决方案不是放弃医疗AI，而是必须确保人工审核的核心地位。我们距离理想状态还有差距，但通过系统性的安全措施，这一目标完全可达。"
此前研究已显示包括ChatGPT和谷歌Gemini在内的主流AI聊天机器人缺乏有效机制阻止健康虚假信息的生成。测试显示这些模型会在提示下生成诸如"防晒霜致癌"等错误内容。最新研究进一步证实，AI医疗系统在面对误导性输入时会产生"自信却完全错误"的响应。
研究人员指出，医疗AI系统的这种缺陷在疫情等公共卫生事件中可能造成严重后果。当前的技术方案需要重新设计，既要能识别可疑输入，又要通过谨慎响应机制确保人工审核的主导地位。这项研究为医疗AI系统的安全优化提供了新的技术路径。
【全文结束】
