AI 聊天机器人给出不安全的健康建议,研究显示Ask Dr Chatbot? AI is giving us unsafe health advice, study shows

环球医讯 / AI与医疗健康来源:www.thestar.com.my德国 - 英语2024-10-16 09:00:00 - 阅读时长2分钟 - 534字
一项由比利时和德国研究人员进行的研究发现,AI聊天机器人提供的医疗建议可能不准确、不安全,甚至难以理解
AI聊天机器人健康建议不安全药物建议患者安全BMJ质量与安全AI幻觉CopilotChatGPT
AI 聊天机器人给出不安全的健康建议,研究显示

柏林——据比利时和德国研究人员的一项研究显示,人工智能聊天机器人无法提供准确、安全或清晰的药物建议。

“聊天机器人的答案大多难以阅读,且频繁缺乏信息或存在不准确性,可能对患者和药物安全构成威胁,”该研究的作者在英国医学杂志《BMJ质量与安全》上发表的结论中指出。

研究团队警告称,大约三分之一的回复可能会导致患者受到伤害,如果他们采纳了聊天机器人的药物建议。

尽管这些聊天机器人是通过互联网上的数据进行“训练”的,但它们仍然容易生成“错误信息、无意义或有害内容”,研究人员警告说,这显然是指所谓的AI“幻觉”,即行业术语中描述的聊天机器人产生胡言乱语的现象。

来自埃尔兰根-纽伦堡大学和制药巨头葛兰素史克的研究团队向微软的Copilot聊天机器人提出了10个关于美国最常处方的约50种药物的问题,评估了聊天机器人的回答的可读性、完整性和准确性。

研究团队发现,理解聊天机器人的答案需要具备大学毕业生水平的教育。此前的研究也显示,OpenAI的ChatGPT(主要的AI聊天机器人服务和微软Copilot的最大竞争对手)也存在类似的不正确和有害回答。

“医疗专业人士在推荐AI驱动的搜索引擎时应保持谨慎,直到有更精确和可靠的替代方案可用,”研究人员表示。


(全文结束)

大健康
大健康