医生已经在使用AI进行护理，但对其安全使用尚未达成共识

Doctors are already using AI in care—but there isn't agreement on what safe use should look like

根据最近对约1000名全科医生的调查，五分之一的英国医生正在使用生成式人工智能（GenAI）工具，如OpenAI的ChatGPT或Google的Gemini，来辅助临床实践。医生报告称，他们使用GenAI生成预约后的文档、帮助做出临床决策以及向患者提供信息，例如易于理解的出院摘要和治疗计划。

考虑到围绕人工智能的炒作以及医疗系统面临的挑战，医生和政策制定者都将AI视为现代化和转型医疗服务的关键。然而，GenAI是一项最近的创新，从根本上挑战了我们对患者安全的看法。在将其用于日常临床实践之前，我们还需要了解很多关于GenAI的知识。

GenAI的问题

传统上，AI应用程序被开发用于执行非常特定的任务。例如，深度学习神经网络已被用于医学影像和诊断中的分类，这些系统在分析乳腺X光片以辅助乳腺癌筛查方面表现出色。

但GenAI并不是为了执行狭义定义的任务而训练的。这些技术基于所谓的基础模型，具有通用能力。这意味着它们可以生成文本、像素、音频甚至这些的组合。这些能力随后针对不同的应用进行微调，例如回答用户查询、生成代码或创建图像。与这种AI互动的可能性似乎仅受用户想象力的限制。

关键在于，由于这项技术不是为特定用途或特定情境而开发的，我们实际上并不知道医生如何安全地使用它。这只是GenAI目前不适合广泛应用于医疗保健的一个原因。

另一个在医疗保健中使用GenAI的问题是众所周知的“幻觉”现象。幻觉是指基于提供的输入生成的无意义或不真实的输出。在研究中，研究人员发现各种GenAI工具在生成文本摘要时产生了错误的关联，或包括了文本中未提及的信息。

幻觉发生是因为GenAI的工作原理是基于可能性，例如预测给定上下文中可能出现的下一个词，而不是基于人类意义上的“理解”。这意味着GenAI生成的输出是可能的，但不一定是真实的。这种可能性是目前还不适合在常规医疗实践中安全使用GenAI的另一个原因。

想象一个GenAI工具监听患者的咨询并生成电子摘要笔记。一方面，这可以让全科医生或护士更好地与患者互动。但另一方面，GenAI可能会根据其认为可能的情况生成笔记。例如，GenAI摘要可能会改变患者症状的频率或严重程度，添加患者从未抱怨的症状，或包括患者或医生从未提到的信息。

医生和护士需要仔细校对任何AI生成的笔记，并有出色的记忆力来区分事实信息和看似合理但虚构的信息。这在传统的家庭医生环境中可能是可行的，因为全科医生足够了解患者，可以识别不准确之处。但在我们分散的医疗系统中，患者经常由不同的医护人员接诊，患者记录中的任何不准确之处都可能对他们的健康构成重大风险，包括延误、不当治疗和误诊。

与幻觉相关的风险是显著的。但值得注意的是，研究人员和开发者目前正在努力减少幻觉的发生概率。

患者安全

目前还不能使用GenAI的另一个原因是，患者安全取决于与AI的互动，以确定其在特定情境和设置中的有效性——观察技术如何与人互动，如何适应规则和压力，以及更大医疗系统内的文化和优先事项。这样的系统视角将决定GenAI的使用是否安全。

但由于GenAI不是为特定用途设计的，这意味着它是可适应的，可以以我们无法完全预测的方式使用。此外，开发者经常更新他们的技术，增加新的通用功能，从而改变GenAI应用程序的行为。

即使技术看起来安全且按预期工作，也可能发生伤害，这取决于使用的上下文。例如，引入GenAI对话代理进行分诊可能会影响不同患者与医疗系统的互动意愿。数字素养较低的患者、第一语言不是英语的患者和非言语患者可能觉得GenAI难以使用。因此，即使技术在原则上“有效”，但如果技术不能平等地服务于所有用户，仍然可能导致伤害。

这里的关键点是，通过传统的安全分析方法很难提前预见GenAI的风险。这些方法关注的是技术故障如何在特定上下文中导致伤害。医疗保健可以从采用GenAI和其他AI工具中受益匪浅。但在这些技术更广泛地应用于医疗保健之前，安全保证和监管需要更加灵活地应对这些技术在哪里和如何使用的发展。

开发GenAI工具的开发者和监管机构还需要与使用这些技术的社区合作，开发可以在临床实践中定期和安全使用的工具。

本文由The Conversation提供。本文根据Creative Commons许可从The Conversation转载。阅读原文。

(全文结束)