随着生成式AI快速重塑医疗领域，一个新兴挑战正在医院和医疗系统中浮现：“影子AI”，即临床医生和员工未经授权使用AI工具。这些工具承诺带来效率和创新，但同时也引入了显著风险，从患者安全问题到数据安全漏洞。
在贝克尔斯医疗网络研讨会（由Wolters Kluwer赞助）上，来自克利夫兰诊所、芝加哥安与罗伯特·H·卢里儿童医院、努万斯健康（康涅狄格州丹伯里）、西雅图儿童医院和芝加哥大学医学中心的领导者们讨论了影子AI如何扎根、治理缺口在哪里，以及组织如何在不减缓进展的情况下做出应对。
以下是讨论的三个关键要点：
1. 影子AI普遍存在，且通常由未被满足的需求驱动。
小组专家强调，影子AI并非边缘案例，而是医疗组织日益增长的现实。临床医生和员工正在转向聊天机器人、写作助手和编码平台等工具，以提高工作效率——通常未经正式批准。但几位领导者表示，不应将这种行为单纯视为风险，而应将其解读为运营需求未被满足的信号。
西雅图儿童医院副总裁兼首席医疗信息官Clara Lin医学博士表示，她的组织正在分析影子AI的使用情况，以更好地了解现有工具的不足。
“IT部门现在正在研究这一点，试图找出差距所在——人们正在尝试使用哪些我们没有提供的东西？”她说。“我们把这个列表作为路线图，来思考我们组织中的AI部署和实施，以便给人们提供更安全的替代方案。”
芝加哥安与罗伯特·H·卢里儿童医院副总裁兼副总法律顾问Kelly M. Greening呼应了这一观点，将影子AI视为反馈而非不当行为。“如果人们转向未经授权的工具，这通常意味着组织没有提供更安全或更便捷的替代方案，”她说。
2. 患者安全和数据风险仍然被低估。
尽管行政类用例看似风险较低，但小组专家强调，影子AI可以直接影响临床决策——而且并非总是可靠。
Wolters Kluwer Health首席医疗官Peter Bonis医学博士表示，风险因用例而异，但临床应用尤其高风险。在护理点使用的工具可能直接影响医疗决策。
“大约30%的情况下，如果医疗专业人员在护理点或附近获得信息，他们会改变决策，”Bonis博士说。“因此，如果这些信息在某种程度上存在缺陷，就可能导致至少次优的护理，甚至损害患者安全。”
他补充说，评估生成式AI工具仍然困难，因为它们在现实工作流程中不断演变，输出不一致和AI幻觉等问题仍未解决。患者信任也是一个问题：他指出，93%的消费者对医疗中的AI至少有一个担忧，超过一半的人表示AI降低了信任——这凸显了加强监督和问责的必要性。
克利夫兰诊所执行副总裁、首席法务官兼首席治理官Deborah Gordon表示，风险不仅限于临床护理，尤其是在商业和法律工作流程中，AI培训可能不够成熟。
“如果一名法务助理将合同放入开源格式，这可能会使我们面临泄露机密信息的风险，从而让我们容易受到社会工程攻击，”Gordon女士说。“我认为我们需要在这些方面加强教育，因为它的基础可能不如我们在某些临床领域已经建立的那么牢固。”
3. 治理正在从控制转向赋能和文化建设。
在各个组织中，领导者正在从被动合规转向更主动的治理策略，以支持安全的AI使用，而非限制它。
这种转变的一个关键部分是提高对企业现有工具的可见性。芝加哥大学医学中心CMIO、国际项目医学主任兼医学副教授Cheng-Kai Kao医学博士表示，他的组织采取了结构化方法来盘点各部门的AI工具——通过供应链和IT审查合同，以确定哪些解决方案已经在使用，以及哪里可能存在重复。
“很多时候，一个团队使用影子AI的原因可能是因为他们不知道另一个团队正在使用某些实际上可以扩展到他们自己团队的东西，”Kao博士说。
通过集中这种可见性，组织可以更有效地扩展现有的、经批准的工具，从而减少对未经授权替代品的需求，同时提高效率和成本管理。
同时，领导者正在投资于AI素养——培训员工了解AI的能力和局限性，特别是开源工具，以降低风险，同时赋能负责任的使用。
努万斯健康副总裁兼CMIO Albert Villarin医学博士表示，组织必须通过跨职能参与将影子AI带到阳光下，而不是将其视为孤立的IT问题。
“他们称之为影子，是因为它被带入了一个已知的环境，但却是未知的，”他说。“我们的工作是把它们从阴影中带出来，使之透明——将其纳入讨论，无论是在教职员工层面、运营层面还是高管领导层面。每个人都是其中的一部分。”
小组专家强调，仅靠治理是不够的，他们反复指出沟通、信任和共同责任等人为因素对于大规模管理风险同样至关重要。
西雅图儿童医院的Lin博士表示，治理机构可以充当合作伙伴而非障碍，帮助团队在保持速度的同时安全部署AI。在克利夫兰诊所，Gordon女士强调，成功取决于整个组织的协作。
“如果我们不真正作为真实的人一起工作，那么我们就无法有效地使用和部署AI，同时也无法管理这些风险，”她说。
影子AI可以成为创新的催化剂
虽然影子AI引入了风险，但它也凸显了对更好工具和协调的强烈需求，并且在深思熟虑的应对下可以加速创新。通过研究影子AI的使用模式，组织可以识别差距、优先投资，并部署满足真实用户需求的企业级解决方案。
努万斯健康的Villarin博士描述了一种从抵制到动力的转变：“我们正处于一个被推动着接受变革的环境中，”他说。“利用这种能量，并将其引导到创新中去。”
Wolters Kluwer的Bonis博士表示，AI的出现——无论是否是影子AI——都标志着医疗领域已经开始的更广泛转型，组织仍处于理解其全部潜力的早期阶段。
“我认为AI仍然是一个进行中的工作，”他说。“我们必须设置一些护栏来保护患者和员工的安全，但这是一段激动人心的旅程。我们看到画布正在浮现，人们开始在上面绘画和着色。”
【全文结束】