批判性参与：医疗保健中人工智能透明度的价值

摘要

为什么透明度对人工智能在医疗保健中的应用如此重要？对此问题的典型回应声称，透明度是患者应得的——因为它是知情同意、合法性、对患者的问责等的前提条件。在本文中，我们关注为什么透明度对医疗从业者可能具有价值。我们认为，透明的AI模型促进了医疗从业者与其所使用的AI模型进行批判性参与。也就是说，它们使从业者能够评估为什么AI模型做出特定推荐，思考这些理由如何影响他们自身的信念和判断，并就是否维持或改变自身判断做出合理决定。通过这一过程，AI模型能够以一种独特有价值的方式帮助医疗从业者改进其实践。反过来，这既有利于医疗从业者，也有利于他们的患者。这一结论对医疗保健中的AI设计具有重要意义：如果AI模型要在医疗保健中使用，它们应被设计成使医疗从业者能够理解模型如何得出推荐并对其进行批判性参与。

1 引言

想象一下，你在医院寻求严重疾病的治疗。你咨询医生，她将你的症状和信息输入电脑。几秒钟后，她透露已咨询了推荐进行探查性手术的AI模型。出于好奇（可能还有些担忧），你询问AI如何得出这一结论。她回答说她不知道AI如何运作——实际上，AI是一个"黑箱"模型，没有人——包括其设计者——能完全解释其运作方式，即输入如何因果关系地关联到推荐（Vainio-Pekka等，2023）。然而，她确实知道该模型具有非常高的准确度，可与或优于周围最好的医生。这让你感到不安。

许多伦理学家声称这里出了问题。具体来说，他们声称AI模型必须对医疗从业者（以及其他人）透明（或可解释/可阐释），才能合乎道德地使用它们（Cortese等，2023；Günther & Kasirzadeh，2022；Rasheed等，2022）。也就是说，模型必须被设计成使某人能够提供因果解释，说明它们如何将输入转换为输出。透明AI模型可与不透明或黑箱模型形成对比，后者无法以类似方式被理解。伦理学家提供了许多支持透明AI的理由。其中包括它们能最小化风险（Chesterman，2021；Cortese等，2023）、建立信任（Mitchell，2025）以及确保公平性（Balasubramaniam等，2022；Chesterman，2021）。虽然这些担忧确实严重，但原则上可以解决。虽然我们可能不知道黑箱模型如何工作，但可以通过将足够多的模型推荐（或输出）与现有数据进行比较来测试模型的可靠性和公平性。因为我们可以在不知道模型如何工作的情况下证明AI模型是准确和公平的，所以透明模型不一定是对AI被认为低风险、可信（或至少可靠）或公平的先决条件。尽管如此，还有其他关于不透明AI的担忧在原则上更难克服。这些包括透明度对问责制（Kemper & Kolkman，2019）、合法性（Chesterman，2021；Selbst & Barocas，2018；Vainio-Pekka等，2023）或患者自主权/知情同意（Amann等，2020；Bjerring & Busch，2021；Vaassen，2022）是必要的担忧。这些担忧涉及黑箱AI的本质，仅通过证明某些AI模型可靠和准确无法解决。然而，这些担忧也受到了质疑（Kawamleh，2023；Muralidharan等，2024；Prince & Savulescu，2025；Prince & Lim，2025）。

在本文中，我们搁置这些担忧（以及它们是否已被解决），并关注为什么透明度对AI在医疗保健中的使用重要的另一个原因。支持医学中AI透明度的典型论点关注患者，以及为什么他们应获得关于对他们所做事情的解释。但同样值得关注的是医疗从业者，以及透明度是否能帮助他们改进医疗实践。我们认为，透明度可以促进医生和其他医疗专业人员的批判性参与。批判性参与是指从业者像对待人类对话者一样与AI模型互动的活动，通过批判性评估判断所给理由并相应修改自己的判断和信念。这一活动使从业者能够改进判断并获取知识，从而导致更准确和适当的医疗决策。结果，从业者更好地履行职责并更有信心，进而可能为患者及其福祉带来更好的结果。据我们所知，本文在详细提出和检验这一论点方面是新颖的。本文将按以下方式组织。在第二节中，我们发展并解释透明度的概念，以及它如何促进批判性参与。在第三节中，我们解决对该观点的潜在批评。最后，在第四节中，我们考虑此处提出的主张的一些影响，特别是对AI模型在急诊医学中使用的影響。

需要明确的是，本文的主张并不是说这里的论点表明透明度、可解释性或可阐释性对于在医学中合理使用AI是必要的。我们也不声称在所有情况下透明AI都应在医学中优先使用。因此，我们没有提供所有支持和反对透明度理由的全面概述。相反，透明AI具有某种独特（且工具性）价值，因为它促进批判性参与，从而带来更好的患者结果。这种价值不一定具有决定性。它为医疗机构提供了初步理由，优先使用透明AI模型而非不透明模型，但必须与支持黑箱模型的其他考虑因素相权衡，例如潜在的准确性和效率提升。值得指出的第二个限定是，本文的范围仅限于AI模型在医学中的使用。本文提出的主张可能适用于其他领域，但检查AI模型在这些其他领域的使用超出了本文的范围。

本文的论点假设，其他条件相等的情况下，提高患者结果和福祉是好的——正如我们将论证的那样，这是医学中批判性参与的效果。相关地，我们也假设，其他条件相等的情况下，我们有初步理由采取行动来增加某人的幸福或福祉。这些假设与大多数合理的伦理理论相容，这些理论同意福祉是有价值的。

2 透明度与批判性参与

在本节中，我们首先对透明度及相关概念进行简要的概念分析。然后我们将定义并解释批判性参与的概念，再讨论为什么批判性参与对医疗保健中的医生和患者有价值。

2.1 透明度

我们以如下方式定义"透明度"：

过程P（医疗AI的决策过程）对代理S（任何医疗从业者）是透明的，当且仅当由于过程P的特征F，S（考虑到其代理资源）在实践上能够知道该过程的认识论相关要素。

更非正式地说，透明AI系统是指医疗从业者在实践上（考虑到他们可能的资源和培训，合理可访问）能够知道该过程的认识论相关要素。

我们对透明度的定义受到哲学文献中"不透明"定义的启发。系统可能在多种意义上是"不透明"的。它可能不透明是因为（i）其操作者故意隐藏其操作，（ii）因为理解它需要专门技能，或（iii）因为"机器学习的高维数学优化与人类尺度推理和语义解释风格的需求之间存在更深层次的不匹配"（Burrell，2016）。前两种不透明是有趣且重要的问题，因为它引发了关于政府和公司如何获得对人们的不成比例权力的问题（Pasquale，2015）。但我们在此关注的是第三种不透明。对我们最重要的是Alvarez（2021）的"代理中立不透明"定义：

[P]过程P在代理无关方式下是不透明的，当且仅当由于过程P的特征F（和/或一组特征），该特征对代理资源不敏感（不能被增强或最小化），使得无法知道该过程的认识论相关要素。

我们对透明度的定义是Alvarez定义的部分反面，它捕捉了关于使用机器学习技术的现代AI模型的一个独特担忧。它们不透明不仅因为AI公司隐藏其内部运作或因为它们对普通人来说难以理解（尽管这些情况也经常发生）。它们不透明是因为AI模型本身的更基本特征；机器学习算法使用的程序与人类理解和解释数据的方式不匹配（Burrell，2016）。无论人类多么技术娴熟，都无法完全理解机器学习算法如何将特定输入转换为输出。

Kästner和Crook（2024）指出，"认识论相关"这一短语是有意不具体的，包括"任何支撑或维持系统行为并对代理的认识目标相关的稳健模式"。因此，不透明"相对于代理的（例如公司、AI用户或开发者）在特定时间的兴趣"（Kästner & Crook，2024）。在本文中，我们主要关注透明AI系统如何以及为何能帮助改进医疗实践。因此，认识论相关要素可以指任何可能对医疗从业者目标（如满足患者健康需求）产生影响的信息。正如我们稍后将论证的，此类信息有时可能包括关于AI系统如何得出输出的解释。

在透明AI类别中，有"可解释AI"，指本质上透明的AI模型。我们可以通过研究算法结构本身来确定模型如何做出决策（Muralidharan等，2024）。例如，对所有操作使用简单线性模型的算法可能是可解释的。同时，"可解释AI"指的是我们有次级事后模型告诉我们主要模型如何工作的AI模型（Rudin，2019）。这个次级模型可以是，例如，另一个AI模型，它生成"模拟主要黑箱在附近案例范围内的行为的局部线性方程"（Muralidharan等，2024）。次级模型可以在其对主要模型的保真度方面有所不同，即它们可以更准确或更不准确地代表主要模型实际如何得出结果（Rudin，2019）。高保真模型是与主要模型非常接近的次级模型。就我们的目的而言，只有高保真模型才被视为透明，因为它们提供了关于主要模型如何工作的相当准确的画面。因此，它们可以为代理提供关于模型认识论相关要素的知识。相比之下，低保真模型的准确度或精确度较低。虽然它们仍可能为用户提供一些关于主要模型如何工作的有用信息，但我们在此提出的论点可能不太适用于它们。就我们的目的而言，"透明AI"指任何可解释AI模型，或与高保真次级模型配对的主要模型。

可能没有任何可解释模型能够足够高保真而被视为"透明"。对于任何值得使用（因为其准确性和复杂性水平）的黑箱模型，可能无法开发出足够有代表性的次级模型。例如，Babic和Cohen（2023）建议，所有可解释模型都将无法指导行动、值得信赖或适合问责实践（如责备），因为它们不反映决策的真正原因。另一种可能性是，可解释/可解释的高保真模型将非常复杂，以至于任何解释都将超出人类理解范围。因此，对于值得使用的黑箱模型，透明度可能是不可能的。在这种情况下，必须在透明度的价值与医疗机构和专业人士持有的其他目标之间做出权衡。总的来说，在某些情况下，可能有理由优先使用不透明或低保真模型。然而，考虑到技术进步和变化的恒定速度，可解释和高保真模型的可行性可能会发生变化。出于本文目的，我们将对这一问题保持中立。

2.2 批判性参与

要理解我们所说的批判性参与，请考虑与朋友、对话者或同行进行批判性参与意味着什么。当我们就某个话题与彼此进行批判性参与时，我们可能从陈述我们的结论（或信念）开始，然后提供支持这些结论的前提。随后，我们可以分析前提与结论之间的关系，确定前提是否成功支持结论，是否需要修改论点，或我们的信念是否被这些论点加强或削弱。在大多数情况下，人类还可以进行持续的来回对话。这种对话可能非常有帮助，但对于批判性参与并非必要（考虑某人给朋友写一封信，就某个决定提供咨询）。正如我们所描述的批判性参与，熟悉于任何享受过关于电影、政治或食物的同事性和富有成效的争论的人。批判性参与是我们修订和改进信念的重要而关键的方式。在与彼此互动时，我们了解新事实和观点，改进自己的论点，并修订有缺陷的信念。所有这些反过来帮助我们以更有成效的方式与世界互动。

人类代理可以以部分类似于我们彼此进行批判性参与的方式与透明AI模型进行批判性参与。透明AI模型可以为我们提供关于模型如何或为何得出决策的信息。这些信息可以给我们理由——我们可能不会有的理由——来增加或减少对我们信念的信心。关于模型如何得出其决策的信息因此可以算作认识论相关要素。需要明确的是，这样的模型单独并不完全类似于人类对话者，因为它不能参与进一步的讨论和对话（尽管可能通过LLM补充模型，然后进行对话）。这样的模型也将无法根据某些讨论修改自己的观点。然而，进一步的对话对于发生批判性参与并非严格必要，关于模型如何得出其决策的信息可能足以帮助从业者得出更好的结论。

Kempt和Nagel（2022）以及Kempt等（2023）先前已经观察到类似观点。Kempt和Nagel（2022）指出，AI决策系统（DSS）可以部分扮演为从业者提供第二意见的角色，因此如果从业者受到AI-DSS的挑战，必须由另一位从业者解决分歧。他们进一步指出，可解释AI系统"允许将内部工作解释为医生负责人的理由"（Kempt & Nagel，2022，第225页）。因此，可解释模型可以为其用户提供关于自己意见或推理正确性的证据。相比之下，不可解释系统不会以类似方式为用户提供关于系统提供的推荐进行推理的工具。因此，"分歧不是被解决，而只是倾向于一方"（Kempt & Nagel，2022）。在本节中，我们将通过更详细地解释透明AI系统如何为从业者提供决策理由来建立这些观点。在下一节中，我们论证透明AI——而不仅仅是任何能够提供理由的AI——为医疗从业者提供独特有价值的信息。

考虑以下例子：

1：一位医生在评估患者后，认为她应该提供某种治疗方案——治疗X。形成这一观点后，她咨询了透明AI模型，该模型推荐了另一种治疗方案——治疗Y——给患者。她检查了模型如何得出其推荐，并了解到模型部分因为患者的种族而做出推荐。医生进一步调查，发现患者的种族与某些疾病的遗传倾向相关，而她之前忽略了这一点。鉴于新信息，她修改了自己的观点。

在这种情况下，医生能够与AI模型进行批判性参与。她能够看到模型做出推荐的理由，评估这些理由，并确定这些理由如何影响她自己的决策。因此，她可以基于知情推理修改或不修改她的决策。如果她像案例1中那样修改，可能是因为模型揭示了一些她可能先前忽略或不知道的信息。如果她拒绝AI模型的推荐，可能是因为她决定模型（即使一个95%时间准确的模型）犯了错误，而她对情况的了解更为优越。例如，我们可以想象一个案例，一个非常强大的模型罕见地将某种情况与患者的种族关联起来，而医生发现了这一点。在案例1中，最终结果因使用透明AI模型而得到实质改善——如果没有模型，医生将做出劣质决策，对患者产生负面影响。

当然，即使AI模型是不透明的，如果医生决定服从模型，结果也会得到改善。但这里的区别在于，由于案例1中的AI模型是透明的，医生实际获得关于患者和病情的新认识论相关信息是可行的。Okada等（2023）指出了获得新知识的这一过程，他们写道："如果AI模型的解释显示某个风险因素对结果预测有意外贡献，可能会就该因素及其与结果的关联开发出新假设。"事实上，他们注意到一项研究，其中"接受体外心肺复苏（ECPR）有效治疗的心脏骤停患者的临床亚组中，肌酐值与结果相关"，由旨在预测结果的AI设计，导致"开发出包含肌酐的ECPR指征新评分"（Okada等，2023）。当然，应进一步工作以确定为什么肌酐值与某些结果相关。另一项研究发现，AI模型学会了从X光等医学图像中识别患者种族，即使考虑了"琐碎的代理"如"身体习惯、年龄或组织密度"，即使训练有素的专业人员也无法检测种族（Gichoya等，2022）。这表明种族与医学图像中先前未知的可观察因素之间存在某种相关性。类似观察已在其他领域如基因组学（Novakovsky等，2023）、生态系统管理（Chakraborty等，2021）和理论物理学（Krenn等，2022）中做出。当研究人员和医疗从业者与透明AI进行批判性参与时，他们可以查看为什么AI模型做出特定推荐，研究不同数据片段之间的关系，并发现关于先前被忽视的因素如何影响医疗结果的新假设。这转化为新且可能有价值的知识，否则可能很难发现（特别是如果数据之间的关系非常模糊，而模型使用的算法非常复杂）。

相比之下，缺乏透明度，因而缺乏批判性参与，可能对医学实践不利，因为它可能使从业者陷入非常困难的困境。考虑以下案例：

2：一位医生在评估患者后，认为她应该提供某种治疗方案——治疗X。然而，形成这一观点后，她咨询了黑箱AI模型，该模型推荐了另一种治疗方案——治疗Y——给患者。由于模型是黑箱，她不知道为什么做出推荐。

情况看起来不太乐观。一方面，医生可以坚持她最初的判断，选择治疗X而非治疗Y。但如果黑箱模型已被证明极其准确可靠——比人类从业者更胜一筹——坚持她最初的判断意味着明知故犯地以期望更差的方式行动。拒绝服从AI模型甚至可能是傲慢和不负责任的，考虑到情况。另一方面，她可以服从AI模型的推荐，知道它更可能做出准确决策。但由于她不知道模型为何做出决策，这种行动方式意味着在不知道自己判断为何错误的情况下放弃自己的独立判断。在这样行动时，她可能牺牲自己的诚信——对自己信念、判断或结论的忠诚（Scherkoske，2010）。这不是微不足道的事情。正如Bernard Williams（1973）指出的（回应功利主义等公正道德原则），要求代理违背自己的信念行动，会使他"在真正意义上与自己的行动及其行动来源——他自己的信念——疏远"。当医生不得不为了她不理解的结论而放弃自己的结论和这些结论的理由时，她可能会类似地与黑箱AI系统疏远。因此，医生面临着一个不愉快的困境：她必须要么以期望更差的方式行动，要么通过违背自己的判断来牺牲诚信（第三种，甚至更不理想的可能，是医生自己开发自己的解释并为AI推荐"填补空白"。这可能导致医生欺骗自己和她的患者）。

加剧医生困境的是责任或问责问题（Kempt & Nagel，2022）。解释决策的一部分是为其提供理由或解释。如果医生服从黑箱AI模型的推荐，从某种意义上说，他们无法充分说明最终决策。"我做出这个决定是因为准确的AI模型说我应该"这一说法显然缺少对理解为什么一个决策比替代方案更好的目标来说认识论相关的东西。因此，拥有透明AI可能使医生能够更好地或更充分地解释他们的决策。需要明确的是，提及黑箱AI的推荐——"AI模型这么说"——有时可能构成对决策的充分说明。是否需要更完整和更令人满意的解释来问责，超出了本文范围。

透明AI不仅在与医疗从业者意见相左时有用。当它确认他们的意见时也可能有用，特别是当从业者基于不完整信息和直觉做出决策时。医学被一些人描述为一门艺术（Detsky，2022；Moseley，1993），反映了直觉和直觉在医学中经常发挥重要作用（Adler，2022；Hall，2002；Kozlowski等，2017；McCutcheon & Pincombe，2001；Smith等，2021；Stolper等，2009；Trafton，2018；Van Den Bruel等，2012；Woolley & Kostopoulou，2013）。一位经验丰富且熟练的医生可能被描述为拥有实践智慧的人，这是一种由"动机、习惯、倾向、信念、知识或能力"组成的美德（Swartwood & Tiberius，2019）。一些哲学家观察到，智慧是不可编码的，即我们不能仅仅通过学习一系列原则或规则来获得智者理解（Swartwood & Tiberius，2019）。这一说法可追溯到亚里士多德，他指出实践智慧涉及一般和抽象知识以及关于特殊事项的推理技能（Aristotle，1999）。因此，实践智慧的发展需要经验，不能仅通过学习一般原则获得（Aristotle，1999）。因此，一位经验丰富且熟练的医生可能在无法阐明如何得出结论的情况下得出结论。他们可能基于多年经验感觉到某个结论更可能是正确的，而年轻和经验不足的医生则依靠指导规则或"非正式标准"（Nilsson & Pilhammar，2009；Rikers等，2004）。当医生基于直觉做出重要决策时，透明AI可以帮助他们阐明判断的理由。从业者反过来可以利用这些信息改进自己的技能，并更清晰地向患者传达他们的决策。例如：

3：一位患者因呼吸困难来到全科诊所。值班护士直觉上认为患者可能正在经历心脏骤停，而不是其他情况（如哮喘发作），但她无法阐明原因。幸运的是，诊所有一款AI模型证实了她的想法——根据特定呼吸模式，它确认患者可能正在经历心脏骤停（Chan等，2019）。

无论AI模型是否透明，对医疗从业者来说，拥有确认他们怀疑的AI模型可能是有价值的。这些模型可以帮助从业者更有信心地执行决策，并可能减少错误的风险规避决策。但在这些情境中，当AI模型能帮助从业者阐明他们可能无法获得的理由时，透明AI可能更好。进一步想象在案例3中，AI模型解释其预测；因为患者有与心脏骤停相关的特定呼吸模式，患者很可能正在经历心脏骤停。在这种情况下，值班护士可以学到她可能原本不知道的东西，并可能特别关注未来患者的呼吸模式。

批判性参与的最后一个潜在好处是抵消一些关于自动化偏见——过度依赖自动化（Goddard等，2012）——和技能退化的担忧。这两种担忧相互关联；当AI模型用户过度依赖自动化时，他们将不太可能依赖自己的技能，因此可能会失去这些技能。而当从业者技能较低时，他们可能不太能够确定何时应依赖模型，导致过度或不足依赖。当AI工具不透明时，从业者可能对模型采取不同态度。一种可能是他们对模型变得过于怀疑——正如Dzindolet等（2003）在三项使用自动化辅助的研究中发现的那样，"如果辅助以操作者无法解释的方式出现故障，对辅助的经验可能很快导致不信任（和不使用）"。当使用AI工具可以改善结果时，这是不好的结果。另一种可能性是从业者对AI模型变得不加批判地依赖；当从业者知道模型非常准确但不知道为什么时，他们可能决定总是服从AI模型。如果AI模型结果不完美，这可能是一种过度依赖形式。

透明AI在这里发挥作用。透明模型促进批判性参与，从而促进技能的发展和维持。反过来，熟练的从业者可能更有可能对AI模型发展适当的依赖水平。一些实证研究证实了这一主张，研究发现解释减少了对自动化系统的过度依赖（尽管这些发现基于解释类型和领域有所限定）（Vasconcelos等，2023；Vered等，2023）。当用户以（假设是可理解和用户友好的方式）呈现决策理由时，他们被鼓励批判性地与理由互动。在此过程中，他们不太可能不加批判地接受决策，因此不太可能过度依赖自动化。

因此，透明AI是有价值的，因为使用它的医生、其他医疗从业者和研究人员可能获得技能、知识和信心。这一结果本身可能有价值，但更重要的是，这应改善患者结果。使用透明AI的医生可能更自信地提供更适合患者情况的服务。这一价值给了我们一个工具性理由，优先使用透明AI而非不透明AI。当然，这一理由本身并不是决定性地使用透明AI而非不透明AI的理由。它可以补充支持透明AI的其他理由，包括"原则上"的考虑（例如，不透明AI侵犯患者自主权）（Amann等，2020；Bjerring & Busch，2021；Vaassen，2022）。它还必须与在医学中使用不透明AI的好处相权衡，例如提高准确性的可能性（London，2019）。然而，当我们评估理由的平衡时，考虑我们讨论的益处很重要。

3 反驳

现在让我们考虑一些潜在反驳。透明AI模型并不总是提供对审议有用的任何信息。考虑以下例子：

[S]假设一位患者Hal正在查看LIME系统AI，可以看到为什么根据提供的信息，AI推荐姑息治疗而非化疗。然而，此解释涉及的考虑因素与他是否应接受化疗似乎关系不大。例如，假设主要算法在实际得出推荐时高度重视Hal喜欢打羽毛球的事实。然而，不清楚打羽毛球是否是影响QALY某些基本事实的良好代理，或者它是否反映了训练数据中的某种偏见（Muralidharan等，2024）。

根据Muralidharan等（2024），AI系统没有改善Hal的认识地位，因为为其决策提供的解释——Hal喜欢打羽毛球——似乎与他是否应接受化疗没有相关关系。此类信息似乎是不连贯的，因此难以参与。

然而，从此示例和类似案例中得出的相关教训不是抛弃透明度。而是透明AI模型应以明确显示道德或认识论相关理由如何影响AI做出的推荐的方式设计，并且医生应接受培训，以建设性方式与AI解释互动。举例说明，Jabbour等发现，当临床医生不真正理解解释的含义且"AI素养"不足时，解释不会改善结果（Jabbour等，2023）。但值得注意的是，他们并没有得出可解释AI毫无意义的结论。相反，他们强调了良好的AI设计和培训：

"其次，开发解释工具的研究人员应让临床医生参与，以更好地了解他们的具体需求。第三，在简单语言中标准化面向临床医生的AI模型信息并实证测试此类标准，可能有助于临床医生理解适当的模型使用和限制。"（Jabbour等，2023）。

显然，关于透明AI的具体设计原则可以说得更多也应该说更多。但这里的要点是，透明AI模型可以对审议和证明有用。事实上，正如我们之前所指出的，几项研究已经证明透明AI模型可以揭示新的认识论相关信息。

进一步提出这一反驳的一种方式是断言AI算法将不可避免地如此复杂，以至于透明AI对用户完全不可理解。例如，想象一个黑箱模型，当"打开"时显示它根据患者的酸奶消费、医院中的植物数量以及患者生命前十年的气候条件推荐姑息治疗。无论从业者接受多少培训，他们可能难以理解此类推荐。然而，计算领域的大量研究正在进行，使AI解释变得可理解或可理解（Coste-Marquis & Marquis，2020；Ribera & Lapedriza，2019；Zhang & Lim，2022；Zuccarelli，2024）。此外，存在现有的AI模型，如"急诊风险预测评分"（SERP）模型，产生非常好的结果并且可解释和可理解（Look等，2024）。因此，我们是否确实能设计出既可理解又有效的透明AI系统，仍有待确定。过早宣称透明AI注定不可理解为时过早，我们不应放弃尝试开发透明AI。

Muralidharan等（2024）提供了一个有用的区分：解释——决策实际上是如何做出的——和规范证明——为什么决策根据某些"规范或评价标准"是正确的或允许的。决策由规范理由——对决策或行动方案有利的考虑因素——在规范上证明（从现在起，简单称为"证明"）（Alvarez & Way，2024；Scanlon，1998）。虽然我们决策的解释通常涉及规范理由，但解释和证明可以分离。例如，假设你注意到一位你非常不喜欢的同事偷办公用品。你报告他的行为，不是因为你关心偷窃，而是因为你不喜欢他并希望他受苦。你行为的解释是你希望他受苦，但这不是规范理由。相反，你行动的证明是偷办公用品是错误的，应该停止。Muralidharan等（2024）接着想象一个"可证明AI"，这是一个基于LLM的次级AI，为由主要AI做出的推荐"编造一个或多个看似合理的证明"。这个次级AI本质上是一个创造性机器，发明构成对决策的事后证明的理由。这些理由可能与决策实际上是如何做出的相符，也可能不相符。此示例使我们看到可证明AI与透明AI的区别。前者告诉我们关于为什么决策可以被证明的一些故事，而后者告诉我们（或至少试图近似）决策实际上是如何做出的。

从这里，我们可以看到对本文中我们论述的第二个可能反驳：透明AI模型对于批判性参与并非严格必要。你可以认为最终重要的是AI模型提供的推荐有一些其他看似合理的规范理由。特别是，我们应该关注证明而非解释。这些证明可能与决策如何做出相符，也可能不相符，可能是一个事后模型提供理由，说明决策如何与患者的目标和价值观兼容。此类证明对于批判性参与的目的足够，甚至可能更有用。

原则上，我们对这一思路表示同情。在某些情况下，不提供算法输出基础解释的证明确实可以促进批判性参与。但在实践中，解释可能在许多情况下更支持批判性参与。考虑到，对于任何给定决策，可以给出多个推理链（或论证）以尝试证明该决策。其中许多可能有缺陷——它们可能包含无关理由、逻辑谬误、不连贯、错误使用数据等。有时，很容易识别有缺陷的推理链，其中提供的理由实际上不支持最终决策。但其他时候缺陷可能很微妙，未经批判性推理培训的人可能难以发现它们。正如我们从与朋友的争论、公共话语和政治中所知，熟练的演说家为几乎任何事情提供看似有说服力的故事并不难！此外，即使是熟练和认真的审议者也容易受到偏见的影响。我们在评估结论理由时经常犯错误，特别是当我们同意这些结论时。即使在良好条件下，称职的推理者在评估理由时也可能犯错误。考虑到患者和从业者必须经常在情感艰难的情况下审议，不能期望他们可靠地区分好的理由链和（微妙的）坏理由链。因此，他们可能将某些理由误认为是某些决策的客观证明，即使这些决策实际上并未得到证明。

这给我们带来了关注证明而非透明度的第一个潜在问题。因为人们可能并不总是有能力或能力仔细区分决策的好理由和坏理由，他们可能自己进行不良推理。如果医生专注于为黑箱AI模型提供的决策提供自己的事后证明，这些"证明"可能最终成为由动机推理驱动的有缺陷的事后合理化。即使医生聪明、认真、善意且诚实地推理，也可能犯这些错误。如果医生使用次级证明AI模型，如Muralidharan等描述的那种，这些AI模型也可能犯错误并有效地欺骗用户。像GPT-4这样的当代LLM在互联网上所有写作的数据上进行训练，容易复制人类推理中出现的错误类型，以及人类不会犯的简单错误。过度信任AI模型的用户可能被愚弄，相信这些错误。

如果LLM的推理能力提高会怎样？在这种情况下，我们可能处于更糟糕的境地。作为类比，想象你的医生聘请了一位雄辩家来证明她所有的决策。这位雄辩家以技艺高超著称，几乎可以为任何结论——甚至我们知道是错误的结论——编造一个令人信服的故事。你可能不会认真对待雄辩家的论点，他们的论点也不会帮助你更信任你的医生（事实上，你可能更不信任你的医生）。如果我们设计一个LLM来证明另一个主要模型的决策，LLM就变成了非常熟练但不可信的雄辩家。正如Uwe Peters在讨论提供理由解释的AI系统（即证明）时指出的那样，

"AI解释系统将产生在开发过程中人们学会接受为决策证明的解释。设计产生理由解释的ADM系统的提议，可能因此导致开发AI系统，通过利用一种通常有理由预先存在的人类倾向（假设理由提供者是自我调节者），创造出透明和可信的虚假印象。"（Peters，2023）

就像雄辩家一样，这种LLM最终会欺骗其用户，或被视为不可信。即使你无法指出"证明"中的任何明显缺陷，你仍然知道它被设计为为所有决策提供"证明"，即使是不良决策。因此，除非你有能力并技能仔细分析LLM提出的论点，否则最好忽略它所说的话。

但我们假设我们可以设计一个事后证明AI模型，可以并且确实很好地推理，并且不为客观上不合理的决策提供"证明"。假设这样的模型将为从业者和患者提供关于决策如何与患者价值观和目标兼容的有用信息。它使用符合某些逻辑连贯性和相关性标准的推理链提供此信息。它提供由看似合理和相关科学和伦理理论支持的理由。并且它不是试图为初级模型做出的任何推荐提供"证明"，而是指出初级模型可能犯了错误。这种AI模型肯定具有很大价值。然而，仍然存在一个限制。因为这里提供的信息是给定结论的事后证明，我们没有信息表明这一推理链在做出新预测时是否准确。即使推理链以符合患者价值观和目标的方式证明结论，并遵守所有逻辑推理标准，它可能在做出新预测方面并不出色。事实上，如果模型确实高度准确并且在提供证明方面也很出色，我们可能会想知道为什么我们不使用那个次级模型作为主要模型，给我们一个同时解释和证明其决策的主要模型（实际上，这种次级模型可能并未设计为做出准确预测）。

这就是透明度发挥作用的地方。AI模型在医疗保健中显示出在做出新预测方面高度准确的潜力，匹配或改进从业者做出的评估（Alowais等，2023；Jiang等，2017；Khalifa & Albadawy，2024；Nadella等，2023）。它们在大量数据上进行迭代训练，以在给定某些参数（如模型训练的数据类型）的情况下获得最准确的结果。因此，我们可以预期经过验证的AI模型将使用在准确性方面最佳或接近最佳的过程来做出预测。因此，揭示其过程给用户的透明AI模型提供了某种独特价值：一条以非常高准确性达到正确结论的推理链（在涉及事后解释的可解释AI情况下，只有当这些AI模型是高保真模型时，它们才会提供这一宝贵的推理链）。即使这一推理链乍看之下似乎不符合逻辑，关于这一推理链的信息可能对人类决策者有用，他们可能发现数据之间（看似不相关的数据点）的关系，他们可能从未想过。例如，在Muralidharan等描述的例子中，AI模型基于Hal喜欢打羽毛球的事实向Hal推荐姑息治疗。虽然乍看之下似乎不相关，但用户可以推断AI模型将"打羽毛球"作为活跃生活方式的代理。像Hal的医生这样的从业者然后可以使用此信息作为提示，与他讨论Hal的生活方式，可能揭示Hal或他的医生可能没有意识到的某些偏好和价值观。然后他们可以使用此信息帮助他们对后续决策（如姑息治疗的性质）进行审议。这一点并非完全理论化。正如我们之前指出的，几项研究已将透明AI的使用与医学、基因组学和其他科学中的新发现联系起来。通过这种方式，透明AI有可能为从业者和患者提供关于某些事实如何与患者病情或可用治疗相关结论的独特见解和新知识。

4 影响

正如我们所论证的，透明AI模型可以通过促进对决策如何做出的理解，帮助医生和其他医疗从业者改进自己的实践。相反，不透明AI可能创造不希望的情况，医生可能不得不在不理解的情况下对决策采取行动，或坚持自己（可能更差）的决策。因此，透明AI模型可以带来物质利益是显而易见的。更有能力、知识更丰富的医生应该带来更好的患者结果。透明AI也可能从患者那里获得更多信任，"至少在中期...将强烈受到他们对医生的信任的中介"（Nickel，2022）。能够理解和解释AI模型推荐的医生更可能获得患者的信任，这反过来将帮助他们的患者信任推荐。

本文主张的一个明确影响是，医疗保健中AI模型的开发者应以透明为目标，通过使这些模型可解释或可解释。但这一影响需要限定。正如我们所指出的，这里的论点并未表明透明度对于AI模型的使用在全面考虑下是合理的必要条件。相反，论点仅表明透明AI具有某种独特价值。如果使AI透明涉及权衡，那么这一价值必须与这些权衡相权衡。

同时，本文的一个影响也比支持透明AI的许多其他论点更强。正如我们之前所指出的，为了让医疗从业者及其患者与AI模型进行批判性参与，这些AI模型需要对他们有意义。这意味着AI模型透明仅在某些人（如AI专家）能够理解它们的程度上是不够的。没有接受过计算或AI正式培训的人应该能够在某种程度上理解AI模型如何做出决策，评估它们，并将AI推理链纳入他们自己的推理。换句话说，透明AI应以通俗语言提供其决策的解释。这可以通过构造主要AI如何工作的事后模型的次级LLM实现，然后用日常语言解释它。此外，在工作中使用AI模型的医疗从业者应接受基本"AI素养"培训。他们应该学习一些关于神经网络和机器学习如何工作、AI模型的优缺点、AI模型中偏见和错误的风险等基本信息。此类培训可能使从业者能够有效地与AI模型互动。当处理利用最初似乎不相关的连接和信息的AI模型时，这种培训特别有用，如患者的种族或羽毛球爱好。AI素养培训还可以帮助医疗从业者在与AI模型合作时建立信心，以便他们可以避免第II节中描述的困境（关于案例2）。

本文主张的另一个影响是，透明AI在不同医疗环境中可能具有不同价值。考虑非急诊医疗保健和急诊医疗保健之间的区别。虽然在非急诊和急诊医疗保健中风险可能都很高，但急诊医疗保健以高紧迫性为特征。批判性参与的价值因此在这两组环境中可能不同。我们希望非急诊病例中的医生花时间考虑所有变量和因素，以做出最佳决策。但批判性参与需要时间和仔细、有条理的考虑。在急诊医学世界中，这些是奢侈品，因为花时间批判性地评估信息可能伴随着失去宝贵时间的成本。这种成本可能超过批判性参与的价值。

这并不是说透明度在急诊医疗保健中毫无价值。相反，根据特定任务的性质，透明度的价值可能不同。事实上，在一项定性研究中，Townsend等（2023）发现一些急诊健康从业者认为透明度对AI在医疗保健中的使用很重要，一位从业者指出"我想知道为什么做出诊断"和"我想知道这一点[以便知道是否]进行进一步调查以确认或否认[诊断]"。此引述显示从业者希望即使在急诊科也能与AI模型做出的推荐进行批判性互动。另一项对急诊放射科医生的定性研究发现，参与者也重视透明度（Agrawal等，2023）。然而，Stewart等（2024）对急诊临床医生的研究对透明度和可解释性表示较少担忧，而另一项研究发现病理学家认为透明度不那么重要（Drogt等，2022）。要全面了解急诊从业者如何看待AI透明度，需要进行更多研究，以及他们为什么关心透明度。

急诊从业者了解AI决策原因的愿望揭示了从业者可能共有的愿望。医疗从业者（至少有时）希望积极并批判性地参与他们最终必须做出的决策。他们想知道为什么他们做出的决策是正确的，为此他们需要能够评估AI模型做出的推荐。透明AI模型促进这种批判性参与。

数据可用性

本研究未生成或分析数据集，因此不适用数据共享。

利益冲突声明。

JS是拜耳的生物伦理委员会顾问。JS是Hevolution基金会的生物伦理顾问。

注释

例如，参见(Johnson等，2023)。
参见(Crisp，2001)，他写道"声称[福祉]根本不重要的理论将不会得到任何信任"。虽然结果主义理论最明显地指示代理增加幸福或福祉，但福祉也在其他理论中为代理提供行动理由。例如，Kant(1998，第4:430页)写道"所有人类自然的终点是他们自己的幸福...除非每个人也尽可能促进他人的目标，否则与作为自身目的的人类只存在消极而非积极的一致"。在契约论中，某些行为减少某人福祉或未能促进它的事实可以构成拒绝该行为的理由(Ashford & Mulgan，2018)。关于美德伦理，有多种美德可能暗示医生有理由改善患者结果，包括慷慨(Hursthouse & Pettigrove，2023)、同情(Gardiner，2003)、可信度(Gardiner，2003)或经院美德谨慎、正义、勇气和节制(Gay，2019)。
我们感谢一位匿名评审者提出此表述。
到目前为止，几项研究表明，一些AI模型在评估分诊案例和诊断方面与人类从业者表现相当或更好。例如，参见(Baker等，2020；Gräf等，2022；Razzaki等，2018；Shen等，2019)。
有几种关于专家直觉（如经验丰富医疗专业人员持有的直觉）如何工作的不同理论。一种可能是专家直觉是模式识别的一种形式。同时，一些学者对专家直觉的可靠性持怀疑态度。关于这两个问题的讨论，参见(Kahneman & Klein，2009)。
假设你不为邪恶公司工作。
一项关于GPT-4逻辑推理技能的研究得出结论，虽然该模型在多个基准测试中表现优于其他模型，但该模型面临"处理新数据和分布外数据的挑战"，并且在"需要逻辑推理的自然语言推理任务"中表现不佳(Liu等，2023)。关于LLM的类似发现由(Azaria等，2024；Dougrez-Lewis等，2024；Groza，2023；Valmeekam等，2022；Zhang等，2024)做出。
例如，Banerjee等发现，在儿科心脏骤停病例中，"EMS到达的每一分钟额外延迟导致ROSC[自主循环恢复]和住院的可能性降低5%，住院出院的可能性降低12%"(Banerjee等，2021)。

【全文结束】