全美各地的临床医生正在使用其机构从未批准的AI工具，通常是为了解决真实而紧迫的问题。这种被称为"影子AI"的现象，正处于一个治理挑战的核心位置——这一挑战的增长速度远超大多数医疗系统能够跟上的步伐。
在Wolters Kluwer Health主办的Becker's第16届年度会议上，一个题为"影子AI：以证据和专业知识管理不可见之物"的专题讨论环节中，四位医疗系统的首席医疗信息官探讨了他们如何应对影子AI——理解其发生原因、量化其风险，并构建旨在引导而非简单禁止这种行为的治理框架。
该环节由Wolters Kluwer Health的医师顾问Amanda Heidemann博士（医学博士、美国家庭医师学会会员、美国医学信息学协会会员）主持。小组讨论成员包括：
- Ann Cappellari博士，医学博士，SSM Health（圣路易斯）首席医疗信息官
- Bonny Chen博士，医学博士，Froedtert ThedaCare Health（威斯康星州Menomonee Falls）首席医疗信息官
- Rob Bart博士，医学博士，UPMC（匹兹堡）首席医疗信息官
- Louis Jeansonne博士，医学博士，Ochsner Health（新奥尔良）首席医疗信息官
以下是他们讨论的四个要点。
注：引述内容为便于阅读已做适当编辑。
- 影子AI反映了未被满足的需求——而不仅仅是未经授权的行为
小组成员一致认为，当临床医生使用未经批准的工具时，他们通常是在解决其组织尚未解决的真实问题。Jeansonne博士将虚拟会议中早期出现的记事机器人描述为一个转折点："你不能简单地告诉人们不能使用它，因为它让你意识到人们存在某种需求，而这种工具正在让他们的生活变得更轻松。"
Cappellari博士描述了SSM Health中更为持久的类似情况：尽管有数百名医生在等待名单上，目前只有约2%的医生能够使用已获批准的环境文档工具。她说，当临床医生下载未经批准的应用程序时，很难阻止他们这样做——因为批准的替代方案尚未向他们提供。这对医疗系统领导者意味着，影子AI最好被理解为一种诊断信号，而非合规性失败。
- 风险远不止数据隐私问题
当员工将临床信息输入未经批准的工具时，患者隐私是最明显的担忧。Jeansonne博士指出，即使是看似匿名的输入，与其他数据结合后也可能被识别。但小组成员也指出了更为微妙、难以察觉的风险。
Bart博士描述了他的团队评估的一款AI排程工具，该工具似乎改善了患者就诊机会——直到更仔细的审查发现它对依赖公共交通的患者不利。该算法在患者错过预约后降低了他们的优先级，增加了就诊障碍而非减少它们。他说，这类公平性风险在UPMC的第一代AI治理模型下是不会显现的。
"Bart博士说："我认为，鉴于我们的医疗行业在任何地方都尚未成熟，你需要检查新事物的广度要求你真正深入挖掘。"
Cappellari博士提出了另一个担忧：经验较少的工作人员越来越依赖AI输出，可能缺乏批判性评估它的临床知识。她指出，如果新临床医生没有足够的知识来识别工具何时将他们引入歧途，他们就不会知道质疑它。
- 治理必须是多学科的，并且为速度而构建
Chen博士概述了一个她称之为"三个E"的框架：赋能(enable)、教育(educate)和评估(evaluate)。在Froedtert ThedaCare，这意味着按风险对每种AI工具进行清点和分层，向全组织公布批准列表，并建立一个涵盖临床领导、运营、IT、法律和合规的治理委员会。目标是让可信的路径成为最便捷的路径。
但即使是构建良好的治理结构也正在被AI采用的速度超越。Bart博士估计，到2030年，UPMC可能使用超过5000种AI工具，远远超过其环境中传统软件应用的数量。他说："我们实际上正在研究基于AI的平台来管理和监控我们部署的AI，因为我们没有足够的人力、足够合格的数据科学家、足够具备专业知识的人来持续进行管理和监控。"
- 采用是影子AI的积极面
该环节以一个违反直觉的观点结束。Jeansonne博士认为，尽管影子AI存在各种风险，但它解决了一个在医疗IT中最持久的问题：让临床医生实际使用新工具。当人们已经在使用未经批准的解决方案时，采用工作基本上已经完成——组织只需在可信的框架内提供同样有效的工具即可。Jeansonne博士说："你只需提供同样好的东西，你就知道他们会使用它。"
Bart博士提供了一个他表示经常向临床医生重复的框架："能够使用AI的临床医生将每天都能战胜和超越不使用AI的临床医生。"小组成员一致认为，治理的目标不是抑制这种动力，而是为其提供一个安全的运行场所。
领导者接下来该怎么做
影子AI不会消失，小组成员明确表示，试图完全阻止它是不切实际且适得其反的。取得进展的医疗系统是那些将未经批准的工具使用视为了解其员工实际需求窗口的系统，构建足够广泛的治理结构以捕捉纯IT审查会遗漏的公平性和安全性风险，并投资于广泛启用已批准的工具，使临床医生不必去其他地方寻找。正如Cappellari博士所说，工作是填补空白——而不是阻塞它。
【全文结束】
