一项新的研究表明,AI聊天机器人在提供医疗条件建议时可能不会总是生成无误的信息。德国埃尔兰根-纽伦堡大学的研究人员发现,人工智能(AI)程序可以向患者提供潜在的有害用药建议。研究结果显示,由AI聊天机器人生成的回答中,有五分之一的答案可能会导致死亡或严重伤害。
专家表示,不应信任AI程序来提供安全和准确的医疗建议。在这项试验中,科学家们列出了美国50种常用处方药中最常被问到的10个问题。研究团队检查了微软开发的具有AI聊天机器人功能的搜索引擎Bing Copilot的所有500个回答,然后将其与临床药剂师和药理学专家医生的回答进行了比较。此外,学者们还分析了一个经过同行评审的最新药物信息网站上的建议。
研究发现,AI聊天机器人的26%的回答与参考数据不一致,3%的回答完全不符。研究结果还显示,42%的AI聊天机器人回答可能导致中度或轻度伤害,而22%的回答可能导致死亡或严重伤害。研究结果还表明,聊天机器人的回答可读性通常需要大学水平的教育才能理解。
研究作者表示:“聊天机器人的回答大多难以阅读,答案反复缺乏信息或存在不准确之处,这可能威胁到患者和药物的安全。”尽管AI具有巨大的潜力,但目前仍有许多局限性,尤其是在患者安全方面。AI系统,包括聊天机器人,可以快速处理大量数据,但如果没有医疗保健专业人士提供的背景和判断,就有可能出现错误或有害的结果。AI必须建立在透明度、准确性和与临床专家合作的基础上,以确保它们能安全有效地为患者服务。
微软的一位发言人表示:“Copilot通过从多个来源提取信息,回答复杂的问题。Copilot提供了链接引用,以便用户可以进一步探索和研究,就像传统搜索一样。”他们补充道:“对于涉及医疗建议的问题,我们始终建议咨询医疗保健专业人士。”
阅读完整研究报告请参阅《BMJ质量与安全》杂志。
(全文结束)


