研究警告称AI聊天机器人不再提供医疗免责声明,可能对用户造成风险AI chatbots ditch medical disclaimers, putting users at risk, study warns

环球医讯 / AI与医疗健康来源:www.computerworld.com美国 - 英语2025-07-30 01:39:13 - 阅读时长4分钟 - 1671字
一项斯坦福大学主导的研究发现,大多数AI聊天机器人在回应健康相关问题时已不再包含医疗免责声明,这引发了对用户可能信任不安全或未经验证建议的担忧。研究指出,生成式AI模型在医疗领域日益权威化的趋势下,缺乏清晰警告可能带来严重风险。此外,一些AI模型甚至在没有警告的情况下提供诊断建议。
AI聊天机器人医疗免责声明健康风险生成式AI医疗领域应用患者安全诊断建议负责任使用误导性输出越狱
研究警告称AI聊天机器人不再提供医疗免责声明,可能对用户造成风险

一项由斯坦福大学主导的研究发现,大多数AI聊天机器人在其对健康相关查询的回应中已不再包含医疗免责声明,这引发了人们对用户可能信任潜在不安全建议的担忧。

支撑聊天机器人的生成式人工智能(genAI)模型以出现错误和“幻觉”著称。有些模型甚至会忽视人类的指令或直接撒谎。在过去,当AI模型被问及医学问题时,它们通常会包含声明,指出模型并非注册专业人员,不应取代专业医疗建议。

最新研究发现,生成式AI公司已大幅放弃这些医疗免责声明,增加了用户依据不安全建议行事的风险。此外,研究人员发现,许多领先的AI模型现在不仅回答问题,还提供诊断建议,却没有相关警告。

这项研究由富布赖特学者索纳利·夏尔马(Sonali Sharma)在斯坦福大学医学院主导。她在2023年注意到AI模型在解读乳腺X光片时经常给出免责声明或拒绝继续操作,表示“我不是医生”。今年早些时候,她注意到医疗免责声明的缺失,于是测试了自2022年以来的15代AI模型。这些模型包括来自OpenAI、Anthropic、DeepSeek、谷歌和xAI的产品,回答了500个健康问题,例如哪些药物可以联合使用,以及分析了1500张医学图像,如可能显示肺炎的胸部X光片。

从2022年到2025年,大型语言模型(LLMs)和视觉语言模型(VLMs)输出中包含医疗免责声明的情况显著减少。2022年,超过四分之一的LLM输出(26.3%)包含某种形式的医疗免责声明。到2025年,这一比例骤降至不到1%。VLMs也出现了类似趋势,2023年有19.6%的输出包含免责声明,到2025年仅剩1.05%。

研究指出,随着这些AI系统变得越来越强大,并逐渐被视为权威信息来源,缺乏此类保障措施引发了严重担忧。为了保护用户并确保在临床或健康相关环境中的负责任使用,研究建议模型应重新引入针对每个输出特定性质量身定制的免责声明。

夏尔马写道:“它们的回应常常包含不准确之处;因此,像医疗免责声明这样的安全措施对于提醒用户AI输出未经专业审核或替代医疗建议至关重要。”

夏尔马在她的研究论文中指出,LLMs和VLMs并非为医疗用途而设计,在没有适当免责声明的情况下可能产生误导性输出。“随着它们变得越来越流利和自信,缺乏明确警告构成了严重风险。”

此外,通过调整提示和使用“对抗性测试”,可以绕过安全检查,这一过程被称为“越狱”,可能导致不一致或不安全的答案。

生成式AI在医疗领域的应用持续增长

除了免责声明的担忧外,其他研究还表明,某些AI聊天机器人在诊断患者方面实际上可以超越医生。但这些发现也附带了一些条件。

波士顿贝斯以色列女执事医疗中心(BIDMC)AI项目主任亚当·罗德曼(Adam Rodman)博士说:“这需要严格的验证,以实现LLMs在改善患者护理方面的潜力。与LLMs擅长的诊断推理任务通常有一个正确答案不同,管理推理可能没有正确答案,需要在本质上具有风险的行动方案之间权衡取舍。”

尽管AI几十年来一直被用于帮助诊断患者状况,但新的生成式AI工具,如OpenAI的ChatGPT、谷歌的Gemini和Anthropic的Claude,正在迅速被医疗保健领域采用,并以多种方式使用,包括治疗建议。

大西洋医疗系统(Atlantic Health System)副总裁兼其责任医疗组织(ACO)主席安德鲁·阿尔巴诺(Andrew Albano)博士说:“在我看来,取消医疗免责声明对患者安全构成了风险,并可能削弱患者及其护理人员的信任和信心。”

他表示:“医疗保健深深依赖于患者与提供者之间的信任,因此在护理中使用的AI聊天机器人应清楚地披露其角色,以及其医疗建议的局限性。”

在调查医疗网络中可能的AI部署用途时,阿尔巴诺表示他看到了改善医疗保健和减轻行政负担的机会。但他也看到,如果技术使用不当,可能会带来“灾难性”的情况和后果。

他说:“鉴于这一点,将AI聊天机器人作为护理团队的一部分整合时,应附带明确的免责声明,告知患者所提供的医疗建议的来源及其局限性。”

【全文结束】

大健康
大健康