医疗人工智能被指在患者病历上撒危险的谎Medical AI Caught Telling Dangerous Lie About Patient's Medical Record

环球医讯 / AI与医疗健康来源:futurism.com美国 - 英语2024-09-29 00:00:00 - 阅读时长2分钟 - 677字
一个名为 MyChart 的通信平台新添加的由人工智能生成回复的功能可能引入危险错误,甚至对患者撒谎。
医疗人工智能患者病历危险错误MyChart医生患者医疗建议GPT-4未标记人工智能生成潜在危险
医疗人工智能被指在患者病历上撒危险的谎

即使是 OpenAI 最新的人工智能模型仍然会犯愚蠢的错误:在投入了数十亿美元之后,该模型仍然无法可靠地说出“strawberry”这个单词中字母“r”出现的次数。

当涉及到医疗建议时,风险要高得多。一个名为 MyChart 的通信平台每天都会有数十万条医生和患者之间的信息交流,该公司最近添加了一项新的人工智能功能,能代表医生和助手自动起草回复患者问题的信息。

据《纽约时报》报道,尽管人工智能有可能引入潜在的危险错误,但大约已有 15000 名医生在使用该功能。

北卡罗来纳大学健康家庭医学医生 Vinay Reddy 告诉《纽约时报》,一个人工智能生成的草稿信息向他的一位患者保证她已经接种了乙肝疫苗,然而实际上根本没有获取到她的疫苗接种记录。

更糟糕的是,新的 MyChart 工具不需要透露某个回复是由人工智能编写的。这可能会让患者几乎无法意识到他们收到的医疗建议是由算法提供的。

该工具依赖于 OpenAI 的大型语言模型 GPT-4 的一个版本,它从包括医疗记录和药物处方在内的材料中获取数据。

批评人士担心,即使医疗专业人员应该审查这些草稿,人工智能也可能引入错误,从而导致疏漏。

在 7 月的一项研究中,研究人员发现 MyChart 工具生成的 116 条草稿信息中有 7 条存在“幻觉”。

虽然这听起来可能不多,但即使是一个错误也可能产生灾难性的后果。另一项独立研究发现,GPT-4 在回复患者信息时反复出错。

有些患者可能永远都不知道他们正在从人工智能那里获得建议。目前没有关于消息需要标记为人工智能生成的联邦规则。

(全文结束)

大健康
大健康