AI参与医疗不良事件后公众对医院的反应Public reactions to hospitals after adverse events involving AI | npj Digital Public Health

环球医讯 / AI与医疗健康来源:www.nature.com英国 - 英语2026-07-23 03:34:48 - 阅读时长13分钟 - 6308字
本研究调查了AI参与的医疗不良事件后公众对医院的反应。研究发现,与仅涉及人类医生的不良事件相比,当不良事件涉及AI时,参与者更倾向于将责任归咎于医院,并报告更高的投诉和法律诉讼可能性。然而,当医生与AI进行互动式协作时,对医院的负面反应有所减弱。这项研究对医疗机构如何在AI应用中管理公众期望和责任分配提供了重要启示,特别是强调有意义的人类监督可以减轻公众对AI相关不良事件的负面反应,为医院在AI部署中的责任管理和沟通策略提供了科学依据。
医疗不良事件AI医疗应用医院责任归因公众医疗反应人类-AI临床协作医疗信任医疗诉讼医疗诊断失误
AI参与医疗不良事件后公众对医院的反应

摘要

尽管人工智能(AI)在医疗保健中的应用日益广泛,但关于公众如何在涉及AI的不良事件后将责任归咎于医院,目前知之甚少。我们发现,与仅涉及人类医生的不良事件相比,当不良事件涉及AI时,参与者将更多的责任归咎于医院,并报告更高的投诉和法律诉讼可能性。然而,当医生与AI进行互动式协作时,对医院的负面反应有所减弱。

引言

人工智能(AI)在医疗保健中的应用日益广泛,支持诊断、治疗规划和患者沟通。医院现在部署各种AI技术以增强临床操作——例如,实施基于AI的放射成像系统以改善早期乳腺癌检测,使用AI辅助内窥镜检查以减少审查时间,采用实时床位管理平台以优化患者流动,以及利用自动化患者参与工具简化高需求服务中的行政沟通。

然而,尽管预期能提高效率和性能,AI在医疗保健中的应用也引入了一类新的风险:涉及AI的不良事件。不良事件是指"由医疗管理而非患者疾病过程引起的意外伤害"。传统上,此类事件主要归因于人为因素,如基于知识的错误和协调失败。随着AI越来越多地嵌入医疗工作流程中,当不正确或不完整的AI生成输出应用于患者护理时,也可能发生不良事件,导致患者伤害。例如,诊断AI模型可能依赖于虚假模式或误解图像,产生误导性诊断输出,可能延迟适当护理并导致患者伤害。此外,大型语言模型在生成临床病例笔记时可能会淡化某些人口统计群体的症状,以不利的方式影响护理决策。

涉及AI的不良事件可能对医院造成严重后果。不良事件通常会削弱患者对医院的信任,一旦公开,还会造成声誉损害。此外,这些事件还可能引发法律纠纷。例如,在美国,每年约有17,000起医疗事故诉讼,向患者支付总计40亿美元的赔偿金。尽管关于公众对AI反应的现有文献尚未直接检查对涉及AI的不良事件的反应,但先前研究表明,人们通常对医疗实践中使用AI反应消极。这些工作间接表明,涉及AI的不良事件可能会引发对医院的声誉和诉讼影响,独立于正式责任确定。

综上所述,涉及AI的不良事件凸显了一个悖论:尽管医院采用AI来减轻运营负担并提高临床表现,但涉及AI的不良事件可能仍会带来可能破坏这些预期收益的声誉、财务和法律成本。尽管存在这些潜在风险,但关于当这些事件发生时公众如何反应,目前知之甚少。现有文献大多集中在涉及人为因素的不良事件和旨在防止其发生的潜在干预措施上。此外,先前研究主要关注不良事件对个别患者和医生的影响,较少关注不良事件如何影响公众对医疗机构(如医院)的责任归因和行为意向。医院可能是在AI部署背景下特别重要的责任归因单位,因为它们是通过组织决策结构和本地协议管理AI系统采用、实施和监督的组织行为者。在一些医疗保健系统中,如英国,医院通常被视为主要的护理提供者,医院的角色可能尤为突出。

我们的研究通过两项研究提供了关于涉及AI的不良事件后公众反应的实证证据。研究1考察了当不良事件归因于AI、人类医生或两者时,公众对医院的反应是更积极还是更消极。基于这些基线发现,研究2调查了当医生和AI参与不同类型的协作时,公众对医院的反应是否不那么消极。

在研究1(n=299)中,我们检查了诊断解释的来源(AI、人类或两者)是否影响人们在最初"正常"的诊断解释后来被证明遗漏了某种状况从而导致患者伤害时对医院的反应。在线参与者阅读了一个假设的胶囊内窥镜检查案例,这是一种使用可吞咽摄像机捕获消化道图像的诊断程序。他们被告知图像被(1)AI系统、(2)内窥镜医师或(3)AI系统和内窥镜医师共同(AI的解释随后由内窥镜医师审查)解释为"正常"。在同一个案例的末尾,参与者阅读到五个月后发现初始诊断遗漏了一种称为小肠腺癌的癌症,导致患者健康并发症。然后参与者对医院在感知责任、投诉可能性和法律诉讼可能性方面进行了评分。

单因素方差分析结果显示,初始诊断解释的来源显著影响了所有结果测量的参与者反应:责任归因,F(2, 295)=14.11,p<0.001,η²p=0.09;投诉可能性,F(2, 295)=12.98,p<0.001,η²p=0.08;以及法律诉讼可能性,F(2, 295)=9.12,p<0.001,η²p=0.06。与仅由人类医生进行解释相比,当解释由AI(单独或与人类医生共同)进行时,参与者将更多责任归咎于医院,并报告更高的投诉和法律诉讼可能性。此外,当解释仅由AI进行时,这些评分显著高于由AI和人类医生共同进行时。这些发现表明,与仅涉及人类医生的不良事件相比,涉及AI的不良事件与更多地将责任归咎于医院相关,特别是当AI生成的解释在没有后续医生审查的情况下使用时。

虽然研究1发现当不良事件涉及AI而非仅涉及人类医生时,医院被归咎更多责任,但它还表明AI旁边的医生参与可能会减轻这种差异。然而,研究1在相对一般层面上检查了医生-AI协作。在实践中,医生和AI系统可以以结构上不同的方式协作,这些差异可能影响公众反应。研究2通过系统地改变医生和AI在决策过程中的协作方式来解决这个问题。

在研究2中,在线参与者(n=602)被随机分配到五种条件之一:仅AI(AI诊断)、仅人类(无AI辅助的放射科医生诊断),或三种人类-AI协作类型——自主型(AI主导,人类参与度低)、顺序型(放射科医生审查AI标记的区域,中等参与度)或互动型(放射科医生审查AI标记的区域和完整图像,将AI输入整合到其独立评估中,高参与度)。在所有情况下,初始"正常"诊断后来被证明遗漏了肺炎,导致患者伤害。与研究1一样,参与者对医院责任、投诉可能性和法律诉讼可能性进行了评分。

我们将每种人类-AI协作条件(自主型、顺序型、互动型)与仅AI和仅人类使用针对每个因变量的单独单因素方差分析进行比较,每次关注三个条件以简化解释。

仅AI、仅人类和自主协作条件的比较显示对责任归因有显著影响,F(2, 360)=13.48,p<0.001,η²p=0.07;投诉可能性,F(2, 360)=12.82,p<0.001,η²p=0.07;以及法律诉讼可能性,F(2, 360)=6.84,p=0.001,η²p=0.04。与研究1一致,在所有结果中,当初始解释由AI系统单独进行时,对医院的反应比由人类医生单独进行时更消极。自主人类-AI协作条件下的评分也显著高于仅由人类医生进行时。此外,自主协作条件下的评分与仅AI条件下的评分没有显著差异,表明有限的人类监督并未实质性地改变参与者对医院的反应。

仅AI、仅人类和顺序协作条件的分析显示出类似模式:条件对医院责任有显著影响,F(2, 359)=9.05,p<0.001,η²p=0.05;投诉可能性,F(2, 359)=9.89,p<0.001,η²p=0.05;以及法律诉讼可能性,F(2, 359)=5.60,p=0.004,η²p=0.03。当初始解释由顺序协作进行时,参与者对医院的反应比由人类医生单独进行时更消极,但与仅AI条件下的反应没有差异。这表明对AI输出的顺序审查可能不会实质性地减轻对医院的负面反应。

仅AI、仅人类和互动协作条件的结果显示对感知责任有显著影响,F(2, 357)=10.42,p<0.001,η²p=.06;投诉可能性,F(2, 357)=9.43,p<0.001,η²p=0.05;以及法律诉讼可能性,F(2, 357)=5.33,p=0.005,η²p=0.03。互动条件下的参与者将显著更少的责任归咎于医院,并报告比仅AI条件下的参与者更低的投诉可能性,且与仅人类条件下的参与者没有差异。对于法律诉讼可能性,互动条件下的反应在方向上低于仅AI条件下的反应(p=0.074)。在协作条件中,只有互动协作与比仅AI条件更少的负面反应相关,并且与仅人类条件没有显著差异。

我们的发现表明,公众对医院的反应取决于不良事件是否涉及AI。当涉及AI时,医院往往会收到比同一事件归因于仅人类医生时更消极的反应。同时,我们的发现指出了一条有希望的前进道路:有意义的人类监督。研究2显示,当医生在AI辅助决策中的参与是实质性的——特别是,以互动而非自主或顺序形式的协作——感知医院责任和投诉可能性显著低于仅AI条件,对法律诉讼可能性也有类似的方向性模式。这些结果表明,公众对医疗保健中AI的反应可能较少取决于技术本身,而更多地取决于其角色如何结构化并整合到临床护理中。

从实践角度看,医院可能受益于在患者沟通中强调AI系统的协作性质,而不是将其呈现为完全自主的代理。研究2的发现表明,当AI支持的决策涉及实质性医生参与时,患者反应可能不那么消极。即使涉及AI,患者可能也重视与仅人类条件相当的医生审查水平,例如除了AI标记的区域外还审查完整图像(即互动人类-AI协作),而不是仅依赖AI输出。这些发现指出了一项政策紧张:尽管医院采用AI以提高效率和有效性,但在不良事件后,如果AI使用没有可见和全面的医生参与,公众反应会更不利。未来研究可以检查使医疗组织能够捕获AI技术益处同时保持患者对医生监督信心的沟通和工作流程策略。

这项研究也有局限性。使用假设案例可能无法完全捕捉涉及AI的不良事件的真实世界反应。然而,鉴于在临床或实地环境中研究不良事件的伦理和实际限制,这种方法是必要的,因为此类事件不能出于实验目的而被道德地诱发。此外,参与者主要从英国招募,反映了招募时调查平台可用的参与者分布。尽管补充分析表明观察到的模式在国家之间没有系统性差异,但未来研究可能受益于详细检查任何潜在的跨国差异。

此外,虽然本研究重点关注医院责任,但未来研究可能检查责任如何在不同利益相关者之间分配,例如个别医生、AI系统开发者和AI支持护理中的医院。最后,未来研究可以检查结果的严重程度——例如,比较轻微诊断延迟与危及生命的错误——是否塑造公众反应,从而提供对AI相关医院责任的更细致理解。

方法

本研究获得了剑桥大学伦理审查小组的批准(批准参考:24-28)。所有程序均按照1964年《赫尔辛基宣言》及其后续修正案的伦理标准进行。在参与前,从所有参与者处获得书面知情同意。所有研究中使用的案例可在开放科学框架上获取:

研究1

参与者

我们通过在线平台Prolific招募了299名参与者(149名女性,147名男性,3名非二元性别;年龄:M=42.45,SD=13.14)。当前研究中的所有参与者均以每小时6英镑的费率获得补偿,如平台推荐。最大比例的参与者报告持有学士学位作为其最高教育水平(9人高中以下学历,45人高中/中学学历或同等学历,57人完成部分大学/大学但无学位,10人副学士学位,119人学士学位,42人硕士学位,9人专业学位,8人博士学位)。参与者主要来自英国(n=282),其次是美国(n=8)和其他六个国家(n=9)。

程序

在提供知情同意后,参与者阅读了一个他们想象自己正在接受胶囊内窥镜检查的案例。胶囊内窥镜检查是一种旨在检查消化道和检测潜在异常的医疗程序。它涉及吞下一个小的药丸大小的相机,该相机在通过胃肠道系统时捕获图像。该案例改编自现有研究关于AI在医疗场景中可能误诊的研究。参与者被随机分配到三种实验条件之一——仅AI、仅人类或人类-AI协作。本研究中所有研究的随机化均使用在线调查平台Qualtrics的随机化功能进行,确保分配概率相等。在仅AI条件(n=101)中,AI系统将参与者的胶囊内窥镜图像解释为正常。在仅人类条件(n=96)中,内窥镜医师将图像解释为正常。在人类-AI协作条件(n=102)中,AI系统最初将图像解释为正常,随后由内窥镜医师审查,后者同意AI的解释。此程序是根据现实世界中的监管和临床实践设计的。在所有条件下,参与者阅读到他们被告知"正常"结果。

同一个案例随后描述了五个月后,参与者经历了严重的健康并发症,前往急诊室,并被诊断出患有小肠腺癌。这构成了一起不良事件:胶囊内窥镜结果的初始解释未能识别癌症,导致诊断和治疗延迟,从而恶化了健康结果。

在案例之后,我们测量了参与者对医院的反应。参与者使用7点李克特量表(1=完全不负责任到7=极端负责任)评估他们认为医院对案例中描述的医疗事件负责的程度。他们还表明了对医院提出正式投诉和提起法律诉讼的可能性,每个都使用7点李克特量表(1=完全不可能到7=极其可能)进行评分。作为操作检查,参与者被要求回忆:1)谁在案例中审查了内窥镜结果,2)结果的初始解释。在所有研究的所有分析中,我们控制了那些未能通过操作检查的人。

研究2

参与者

我们通过Prolific招募了602名参与者(379名女性,215名男性,8名非二元性别;年龄:M=39.87,SD=13.42)。最大比例的参与者报告持有学士学位作为其最高教育水平(7人高中以下学历,91人高中/中学学历或同等学历,108人完成部分大学/大学但无学位,31人副学士学位,231人学士学位,97人硕士学位,15人专业学位,22人博士学位)。参与者主要来自英国(n=356),其次是美国(n=182),尼日利亚(n=19)和其他19个国家(n=45)。

程序

在提供知情同意后,参与者阅读了一个他们想象自己正在接受胸部X光检查的案例。他们被随机分配到五种不同条件:仅AI、仅人类,以及三种不同程度人类参与的人类-AI协作条件(即自主型、顺序型和互动型协作)。在仅AI条件(n=119)中,参与者阅读到AI系统审查了他们的胸部X光图像并最终将其解释为正常。在仅人类条件(n=124)中,参与者阅读到放射科医生审查并解释X光图像为正常。三种人类-AI协作条件是根据现有研究提出的混合问题解决框架设计的。根据该框架,自主协作代表最低水平的人类参与;AI系统独立执行主要任务,放射科医生的角色仅限于审查或批准AI的输出。顺序协作涉及中等水平的人类参与;AI系统执行主要任务并提供初步输出,放射科医生随后在此基础上应用其专业知识来完善输出并做出最终决定。互动协作需要最高水平的人类参与:放射科医生和AI实时协作,交换见解并共同完善其输出。放射科医生对AI的初步结果提供反馈,AI使用这些反馈来调整其输出,同时独立检查任务以应用其专业知识。两个代理最终都为最终决定做出贡献。

在医疗诊断的背景下,这些协作类型应用如下:(a)在自主协作条件(n=121)中,参与者阅读到AI系统独立解释了参与者的X光图像为正常,并将结果报告给放射科医生;(b)在顺序协作条件(n=120)中,参与者阅读到AI系统对X光图像进行了初步分析并生成了热图突出显示关注区域。放射科医生随后检查这些区域并得出X光为正常的结论;以及(c)在互动协作条件(n=118)中,参与者阅读到AI系统和放射科医生在诊断过程中共同工作。具体来说,AI提供了初步分析,包括热图和表明X光正常的解释。放射科医生审查了热图并独立对X光进行了检查,包括AI未标记的区域。结合AI的发现和自己的专业知识,放射科医生同意AI的解释,即X光为正常。

在诊断后,所有参与者阅读到不需要额外治疗或随访。案例随后描述了五个月后,他们的症状恶化,进一步检测发现遗漏了肺炎诊断。参与者随后完成了评估他们将多少责任归咎于医院的测量,以及他们提出正式投诉和提起法律诉讼的可能性,使用与研究1相同的测量方法。作为操作检查,参与者被要求回忆谁在案例中审查了胸部X光结果。

【全文结束】