ECRI将人工智能聊天机器人在医疗领域的误用列为年度医疗技术风险榜首。
这家非营利机构在周三发布的报告中指出,基于ChatGPT等大语言模型构建的聊天机器人可能提供虚假或误导性信息,导致患者遭受严重伤害。ECRI将聊天机器人误用置于电子系统突发中断和假冒劣质医疗器械之前,列为本年度最大风险。
AI一直是ECRI长期关注的问题。2024年,医疗技术中AI治理不足位列该非营利机构风险榜单第五位,而相关风险在去年已高居榜首。
ECRI在2026年报告中将焦点转向AI聊天机器人。大语言模型会回答用户的健康问题,但ECRI表示,尽管AI聊天机器人回复看似合理,这些工具却曾建议错误诊断、推荐不必要检测、推销低质医疗器械甚至虚构人体器官。ECRI观察到的一个案例中,错误的电极放置建议可能使患者面临烧伤风险。
尽管AI聊天机器人未经医疗用途验证,ECRI指出临床医生、患者及医疗人员正日益在医疗场景中使用这些工具。OpenAI本月表示,所有发送至其ChatGPT模型的消息中超过5%涉及医疗健康。ChatGPT的8亿常规用户中,每季度有2亿人每周提出健康咨询问题。
ECRI强调,用户必须认清模型的局限性,在使用大语言模型可能影响患者护理时严格审查其回复。该机构警告聊天机器人绝不能替代合格医疗建议或专业判断,同时指出医疗成本上升及医院诊所关闭可能促使更多人依赖这些工具。
ECRI将医疗机构对电子系统及患者信息突发中断缺乏准备列为2026年第二大风险。假冒劣质医疗器械在榜单中排名第三。
ECRI列出的其余七大风险多与医疗器械相关。该机构担忧胰岛素泵和连续血糖监测仪等糖尿病技术的召回及更新信息传递至患者和护理人员的速度过慢,建议制造商以清晰易懂的形式提供产品安全信息。
非营利机构还将老旧医疗设备带来的网络安全风险列为另一隐患。鉴于老旧设备普遍存在且多数机构无力更换,ECRI建议采取断网等缓解措施。
【全文结束】


