五分之一的英国医生使用生成式人工智能（GenAI）工具，例如OpenAI的ChatGPT或Google的Gemini，来协助临床实践。这是根据最近对大约1,000名全科医生进行的一项调查得出的结果。医生报告称，他们使用GenAI生成就诊后的文档、帮助做出临床决策，并向患者提供信息，如易于理解的出院摘要和治疗计划。考虑到围绕人工智能的炒作以及医疗系统面临的挑战，医生和政策制定者认为AI是现代化和改革医疗服务的关键也就不足为奇了。然而，GenAI是一项近期创新，从根本上挑战了我们对患者安全的看法。在我们了解如何在日常临床实践中安全使用GenAI之前，还有很多未知之处。
GenAI的问题
传统上，人工智能应用是为执行非常特定的任务而开发的。例如，深度学习神经网络已被用于图像和诊断分类，证明在分析乳腺X光片以辅助乳腺癌筛查方面非常有效。但GenAI并不是为了执行狭义定义的任务而训练的。这些技术基于所谓的基础模型，具有通用能力。这意味着它们可以生成文本、像素、音频甚至这些的组合。这些能力随后针对不同的应用进行微调，例如回答用户查询、生成代码或创建图像。与这种类型的人工智能互动的可能性似乎仅受用户想象力的限制。
关键在于，由于该技术并非为特定用途或特定情境而开发，我们实际上并不知道医生如何安全地使用它。这只是GenAI目前不适合广泛应用于医疗保健的一个原因。在医疗保健中使用GenAI的另一个问题是众所周知的“幻觉”现象。“幻觉”是指基于提供的输入生成的无意义或不真实的输出。在研究GenAI创建文本摘要的情况下，一项研究发现各种GenAI工具产生了基于文本内容的错误链接，或包括文本中未提及的信息。幻觉发生是因为GenAI的工作原理是基于可能性，例如预测给定上下文中可能出现的下一个词，而不是基于人类意义上的“理解”。这意味着GenAI生成的输出是可能的，但不一定是真实的。这正是目前在常规医疗实践中安全使用GenAI还为时尚早的另一个原因。
想象一下一个GenAI工具，它监听患者的咨询，然后生成电子总结笔记。一方面，这可以让全科医生或护士更好地与患者互动。但另一方面，GenAI可能会基于它认为可能的情况生成笔记。例如，GenAI摘要可能会改变患者的症状频率或严重程度，添加患者从未抱怨的症状，或包括患者或医生从未提到的信息。医生和护士需要仔细校对任何AI生成的笔记，并有出色的记忆力来区分真实信息和看似合理但实际上是虚构的信息。这在传统的家庭医生环境中可能是可行的，因为全科医生足够了解患者，可以识别不准确之处。但在我们分散的医疗系统中，患者经常由不同的医疗工作者接诊，患者记录中的任何不准确之处都可能对其健康构成重大风险，包括延误、不当治疗和误诊。与幻觉相关的风险是显著的。但值得注意的是，研究人员和开发者目前正在努力减少幻觉的发生。
患者安全
另一个原因是目前还不适合在医疗保健中使用GenAI，因为患者安全取决于与AI的互动，以确定其在特定情境和设置中的表现——观察技术如何与人互动，如何适应规则和压力，以及如何适应更大医疗系统内的文化和优先事项。这种系统的视角将决定使用GenAI是否安全。但由于GenAI并非为特定用途设计，这意味着它是可适应的，可以以我们无法完全预测的方式使用。此外，开发者会定期更新他们的技术，增加新的通用功能，从而改变GenAI应用程序的行为。此外，即使技术看起来安全且按预期工作，也可能发生伤害，具体取决于使用情境。例如，引入GenAI对话代理进行分诊可能会影响不同患者与医疗系统的互动意愿。数字素养较低的患者、母语不是英语的患者和非言语患者可能会发现GenAI难以使用。因此，尽管技术在原则上可能“工作”，但如果技术不能平等适用于所有用户，仍然可能导致伤害。这里的关键是，与GenAI相关的风险通过传统的安全分析方法很难提前预见。这些方法关注的是技术故障在特定情境下如何导致伤害。医疗保健可以从采用GenAI和其他AI工具中受益匪浅。但在这些技术更广泛地应用于医疗保健之前，安全保证和监管需要更加灵活地应对这些技术使用地点和方式的发展。还需要GenAI工具的开发者和监管机构与使用这些技术的社区合作，开发可以在临床实践中定期安全使用的工具。
(全文结束)
