Imprivata首席医疗官肖恩·凯利医学博士反思了在医疗保健领域部署自主AI系统所需考虑的关键问题。
医疗保健系统正承受着巨大压力。临床医生、护士和工作人员正在应对日益复杂的诊疗环境、不断增长的文档记录需求、人员短缺以及已经濒临崩溃的工作流程。当新技术承诺减轻负担并提高效率时，它自然会迅速引起我们的关注。这正是当前人工智能（AI）在医疗保健领域特别引人注目的原因之一。我们需要帮助，而在许多方面，AI已经开始提供这种支持。
到目前为止，大部分讨论都集中在辅助性应用场景上：环境文档记录、摘要生成、决策支持以及其他帮助临床医生更高效工作的工具。这些应用很重要，其中许多已经显示出实际价值。但医疗保健中AI的下一阶段将有所不同。我们正在从支持决策的系统转向能够开始执行决策的系统。正是在这里，风险性质发生了变化。
自主AI系统
自主AI系统指的是不仅能够识别任务或推荐下一步行动，而且能够实际执行这些任务的系统。这些系统可以启动操作、在工作流程间传递信息、触发通信，甚至在某些情况下在有限的人工干预下完成操作任务。在合适的环境中，这可以真正减少医疗服务交付中的摩擦，减轻行政负担，提高响应速度，并帮助过度负荷的团队更有效地运作。我对这一未来持乐观态度，但同时也认为我们需要清醒地进入这一阶段。
在医疗保健领域，不存在纯粹的行政流程。这正是许多风险被低估的地方。从纸面上看，似乎可以从"低风险"操作用例而非明显的临床用例开始部署自主AI。安排预约就是一个很好的例子：乍一看，这似乎是行政性的，但在医学中，即使是安排预约的决定也可能带来严重的临床后果。
想象一下，一位患者因新出现的腿部肿胀而被转诊进行超声波检查。一个AI代理将该检查安排在下周。从纸面上看，任务已完成，系统运行正常。但如果该患者的肿胀实际上是由深静脉血栓引起的，在检查前血栓移动到肺部，导致患者因肺栓塞而住进重症监护室，该怎么办？
这并非假设的极端案例。这正是临床医生担忧的问题，因为上下文至关重要。该预约决定的紧急性取决于仅靠结构化数据可能无法完全体现的细节。它取决于症状、合并症、病史、随时间的变化，以及关于什么需要立即处理、什么可以稍后的临床判断。
谁对结果负责？
因此，如果一个代理做出了这个预约决定，谁对结果负责？是下医嘱的医生？传统上负责安排预约的工作人员？批准该工作流程的医疗机构？启用该操作的供应商系统？配置该代理的团队？也许最重要的是，在干预仍然关键的时刻，是否有人实际看到了这个决定？医疗保健中自主AI的真正问题不仅仅是这些系统能够行动，而是它们能够在工作流程内部行动，而小决定可能对患者安全产生隐藏的下游后果。
同样的担忧也适用于其他看似简单但仔细审视后并非如此的用例。以收件箱管理和药物续方工作流程为例。大多数消息是常规的，大多数续方请求是适当的。但在这些高流量任务中隐藏着最重要的例外情况。一个听起来轻微的门户消息实际上可能描述了糖尿病患者静默性心肌梗死的症状。一个续方请求看似自动，直到你意识到由于患者尚未进行肾功能检查，该药物已不再安全。在这些时刻，工作流程不再是行政性的——它已成为临床性的。如果一个自主系统不能可靠地识别这种转变，它可能会迅速产生风险。
这些并不是反对自主AI的论点。事实上，我相信恰恰相反。我认为这些技术具有巨大的潜力，可以帮助减轻临床医生和工作人员的负担，而医疗保健迫切需要这种支持。但我们应该诚实地面对风险所在。挑战不仅仅在于AI代理在狭义技术意义上是否准确。挑战在于它是否能在复杂、相互依赖的医疗环境中安全运行，在这些环境中，时机、上下文和例外与任务本身同样重要。这意味着治理不能被视为放在书架上的政策文件。它必须是可操作的。
自主AI管理的最佳实践
在医疗保健领域，我们已经了解如何在高风险环境中工作。我们每天都在这样做。我们依赖协议、权限、监督、升级路径、审计和明确的执业范围。我们不会给予系统中每个人类参与者无限的权威，我们也不应该对AI代理这样做。
在初期，自主系统应该受到严格限制。它们只应在明确定义的条件下，执行特别授权的操作，并内置人工监督。在许多情况下，应该有"人在回路中"，不是作为象征性的检查点，而是作为工作流程中有意义的一部分。这不是技术失败的标志。这是医疗保健在后果真实时管理责任和安全的方式。
随着时间推移，一些组织可能希望超越对每个操作的直接人工审查。对于某些理解良好的工作流程，这可能是合适的。但如果我们打算这样做，我们需要建立正确的控制措施。这从身份识别、访问权限、监控和可审计性开始。如果一个AI代理要在临床或操作系统内行动，它应该有明确的身份、严格限制的权限集，以及关于何时可以行动、可以访问什么以及如何跟踪这些行动的明确规则。行为应该是可观察的，偏差应该是可检测的，行动应该是可归因的，并且应该始终有一种方法可以在需要时暂停、 override或撤销访问权限。
换句话说，我们需要将AI代理治理得更像是医疗环境中的参与者，而不仅仅是后台运行的软件。这是许多组织需要转变思维的地方。问题不仅仅是"这个代理能做什么？"更好的问题是，"在什么条件下我们应该信任它来行动？"
医疗保健一直对插入临床工作流程的技术持谨慎态度，这是有充分理由的。摩擦令人沮丧，但不安全的自动化更糟糕。如果自主AI要在医疗保健中取得成功，不会是因为它能快速行动，而是因为它能在患者护理的现实中安全、可预测和负责任地行动。这就是标准。"首先，不伤害。"
AI绝对将在医疗保健中发挥更大的作用。我相信它应该如此。但当这些系统开始行动而不仅仅是提供建议时，我们已经进入了不同类别的责任。在那一刻，我们不再仅仅评估一个有用的工具。我们正在向系统中引入一个新的操作参与者。而任何能够在医疗保健中行动的事物都必须相应地受到治理。
【全文结束】
