AI幻觉:它们是什么?是否总是有害?AI Hallucinations: What Are They and Are They Always Bad? - MedCity News

AI与医疗健康 / 来源:medcitynews.com美国 - 英语2025-09-23 19:13:48 - 阅读时长3分钟 - 1217字
本文报道了2025年9月在达拉斯举行的MedCity INVEST数字健康会议上专家小组的深度讨论,核心议题是人工智能幻觉在医疗领域的表现与影响;与会专家一致认为AI幻觉并非总是负面现象,它可能帮助识别数据或研究中的空白,例如缺失数据有时反映患者康复良好;同时强调医疗行业需摒弃对技术的价值评判,转而培养医护人员的批判性思维与AI素养,将AI教育系统化纳入医学培训体系,以确保未来可持续医疗系统的构建,这对推动医疗人工智能负责任应用具有关键指导意义。
数字健康医疗AIAI幻觉数据缺口患者伤害批判性思维AI教育医学生护理学生可持续医疗系统
AI幻觉:它们是什么?是否总是有害?

在MedCity INVEST数字健康会议上,一组专家指出,AI幻觉可能并不总是有害的。相反,它们可能帮助人们识别数据中的缺口。

2025年9月22日,来自达拉斯MedCity INVEST数字健康会议的讨论聚焦于医疗AI领域常被担忧的"幻觉"现象——这在实践中究竟意味着什么?

普莱米尔公司(Premier Inc.)政府事务高级副总裁、会议主持人苏米·萨哈(Soumi Saha)表示,AI幻觉是指AI"发挥想象力"的行为,这有时会因提供错误信息而伤害患者。

数字医学协会(Digital Medicine Society)创始人兼首席执行官詹妮弗·戈尔斯达克(Jennifer Goldsack)将AI幻觉描述为"技术等效的胡说八道"。曼奈特律师事务所(Manatt, Phelps & Phillips)合伙人兰迪·赛格尔(Randi Seigel)将其定义为AI编造内容却"听起来像事实,让人不愿质疑"的情形。最后,库尔健康(Cohere Health)首席数据与AI官吉吉·袁(Gigi Yuen)指出,幻觉发生在AI"缺乏依据"且"不够谦逊"时。

幻觉是否总是有害?萨哈向小组成员提出这一问题,探讨幻觉能否帮助人们"识别数据或研究中的潜在缺口",从而揭示更多工作需求。

袁表示,当用户不知AI正在产生幻觉时,这种情况才是有害的。然而她补充道:"如果AI聊天机器人愿意向我说明它对自身言论的把握程度,我将非常乐意与其进行头脑风暴式对话。"

戈尔斯达克将AI幻觉类比为临床试验数据,认为缺失数据实际能向研究人员传递信息。例如,在心理健康临床试验中,缺失数据可能表明某人状态良好——正"享受生活"而非每日记录症状。但医疗行业常对缺失数据使用责备性语言,声称患者"依从性不足",而非反思数据缺失的真实含义。

她进一步指出,医疗行业往往将大量"价值判断强加于技术",但技术本身"并无价值观念"。因此,当医疗行业遭遇AI幻觉时,人类有责任探究原因并运用批判性思维。

戈尔斯达克强调:"如果我们无法让这些工具为我们所用,我很难想象未来如何构建可持续的医疗系统。我认为我们有责任保持好奇,警惕此类现象,并思考如何与其他法律框架进行比较对照,至少以此为起点。"

与此同时,曼奈特律师事务所的赛格尔强调,必须将AI教育纳入医学生和护理学生的课程体系,包括理解AI及如何向其提问。

她表示:"仅在年度培训中点击完成三小时的AI课程是远远不够的。我认为这必须是迭代式的学习过程,不能仅在一次性教学后,再通过其他年度培训中的刷新课程点击完成。"

【全文结束】