医疗行业在特朗普政府不提供帮助的情况下应对人工智能监管

Healthcare tackles AI oversight with no aid from Trump administration

医疗公司在缺乏联邦标准的情况下努力采用人工智能技术，但不太可能从特朗普政府那里获得任何帮助，这使得负责任实施的责任完全落在了行业的肩上。

随着技术变得越来越复杂，这一任务变得越来越困难，专家们在拉斯维加斯举行的HIMSS医疗会议上表示。

“有一点很清楚，这个政府不会对人工智能进行监管。无论好坏，这就是事实，”提供商自动化公司Commure的首席执行官Tanay Tandon在一个小组讨论中说。

唐纳德·特朗普总统对人工智能治理的放手态度意味着，医院转向这些工具以节省成本并减轻过度劳累的临床医生的工作负担，至少在未来四年里可能会处于监管灰色地带。

总统表示，他的目标是让美国开发者能够自由创新。但这对于那些迫切需要指导方针的技术开发商和医疗公司来说，存在一些不利因素，因为人工智能容易出错、随时间退化，并且会加剧现有的偏见。

更不用说，缺乏国家标准实际上可能会阻碍人工智能的发展和应用，根据一些专家的说法。

“当没有联邦框架时，它会造成各种各样的问题，”电子健康记录协会主席Leigh Burchell说。“我们都只是想知道我们的规则是什么。然后我们就可以遵守。”

拜登与特朗普在医疗AI上的对比

到目前为止，包括卫生与公共服务部（HHS）的技术办公室、医疗保险和医疗补助服务中心（CMS）以及食品和药物管理局（FDA）在内的少数联邦机构已经发布了关于医疗领域使用和质量的人工智能的针对性规定。但是国会和行政部门都没有制定一个全面的框架来监管这些模型——尽管在拜登政府期间有了一些进展，当时HHS的一个工作组正在努力建立一个统一的监管结构。

该工作组在一月份公布了战略计划——就在特朗普就职前10天。然而，特朗普在其首批行政命令之一中废除了该蓝图。

与此同时，在FDA等机构从事人工智能监督工作的联邦雇员被卷入了特朗普政府对政府工作人员的大清洗。在这场动荡中，负责监督人工智能政策的HHS办公室的未来仍不明朗。

因此，在华盛顿创建一个具体的医疗人工智能监督策略的微弱势头似乎已经停滞，至少目前是这样。取而代之的是，特朗普宣布了Stargate项目，这是一个与私营公司的5000亿美元投资协议，旨在优先发展人工智能并保持美国在这一领域的领先地位——这是一个高风险的赌注，立即因中国发布的高性能且廉价的开源模型DeepSeek而变得复杂。

“现任政府——刹车已经松开，加速器已经踩下。”

Brian Spisak

哈佛大学国家准备领导倡议的人工智能和领导力项目主任

特朗普政府确实在二月初发布了一份征求公众意见的信息请求，以获取关于潜在的国家人工智能行动计划的意见。然而，计划的措辞明确表明了政府的优先事项：“维持和增强美国的人工智能主导地位，并确保不必要的繁重要求不会阻碍私营部门的人工智能创新。”

撤销拜登时代的人工智能计划主要是象征性的，因为各机构尚未对开发商或用户施加任何要求。

但在“现任政府——刹车已经松开，加速器已经踩下，”哈佛大学国家准备领导倡议的人工智能和领导力项目主任Brian Spisak在HIMSS上说。“医疗机构的领导层有很大的责任找到创新与速度、安全与传统之间的最佳平衡。”

技术变革

这种责任——也落在创建模型的人工智能开发者、将它们编织进健康记录的软件供应商以及使用它们的临床医生身上——不可忽视。

目前，即使是最先进的人工智能在医疗机构中的应用也只是自动化管理，并且仅边缘性地涉及患者护理。但这种情况似乎正在发生变化：HIMSS在秋季进行的一项调查显示，越来越多的医疗机构对人工智能的临床应用案例感兴趣，例如定制治疗方案或帮助临床医生做出诊断。

许多这些用例涉及生成式人工智能，它可以创建原始文本和图像。但这类模型已知会产生幻觉，即提供事实上不正确或无关的答案。人工智能可能会遗漏重要信息，这种错误称为省略。模型还可能发生漂移，即人工智能的表现随着时间变化或退化。

鉴于人工智能越来越多地用于从电子健康记录系统中提取数据、转录医生-患者访问等，这些错误可能会干扰临床医生照顾患者的能力，专家们说。

同时，这项技术正以惊人的速度发展。去年，医疗行业才刚刚开始接受生成式人工智能的治理。但现在，对话已经转向了人工智能代理，它们可以在很大程度上不受人类监督的情况下完成复杂的任务。

在三月份的拉斯维加斯HIMSS医疗信息技术会议上，许多公司展示了人工智能代理。

Commure的Tanay将当前时刻比作19世纪末美国从煤油转向电力的时候。

“六个月前我们做事的方式已经完全无关紧要了，”他说。

由于发展的飞速，任何政府的联邦标准都可能需要具有灵活性，专家们说。

拜登政府的HHS工作组建议政府可以围绕测试和试用工具制定指南，并提供一些支持。然而，它避免了采取过于具体的方法。

这与许多利益相关者的愿望清单一致。许多科技公司和医院系统的高管表示，任何联邦标准都应该根据人工智能模型的风险水平分层——例如，对帮助医生诊断疾病的算法进行更严格的监督，而对帮助医院工作人员分配床位的算法则放宽限制。

“我们必须权衡监管不足（这可能会增加风险）和过度监管（这会抑制创新）之间的平衡，”加州橙县儿童医院的首席情报和创新官Anthony Chang在一个小组讨论中说。

“现任政府更有可能倾向于监管不足。所以我们作为一个职业必须小心，不要让它发生，”Chang说。

州和行业团体填补空白

由于缺乏来自华盛顿的指导手册，医院和医学团体正在拼凑州法律和行业团体发布的自愿标准，匆忙建立自己的内部控制。

科罗拉多州、犹他州和加利福尼亚州等州已经通过了立法，为人工智能系统建立了免责声明要求。更多的州正在考虑类似的法律：Burchell称，电子健康记录协会正在跟踪150项与健康人工智能相关的州法案。

“有大量的法案爆炸式增长，”Burchell说。

但不同的标准可能会阻止健康人工智能开发商和软件公司在特定州推出产品，从而可能使患者根据居住地受到不利影响。她补充说，更加规避风险的软件公司可能会完全避开人工智能，或者避开某些州。

“大量不同规模和形状的州级立法对我们来说是一种风险，因为它意味着我们必须进行各种不同的开发。我们宁愿开发一个可以在全国范围内广泛使用和接受的系统，”Burchell说。

健康人工智能标准组织也在填补联邦政府留下的空白。这些组织——通常由领先的医院、数字健康公司和技术巨头组成——包括健康人工智能合作伙伴关系（Health AI Partnership），这是一个面向行业的AI学习网络，以及最近推出了医院AI注册表的健康人工智能联盟（Coalition for Health AI）。

“我认为我们可能会看到更多的像健康人工智能合作伙伴关系这样的非政府组织出现，成为我们在这一领域的北极星，”EHR供应商Meditech的生成式AI计划企业负责人Rachel Wilkes说。

但如果没有联邦政府的支持，行业联盟的标准几乎没有分量。历史上，自愿标准并不特别有效。

“在没有任何联邦框架的情况下，人们有机会按照自己的最佳利益行事，无论那是什么，”Wilkes说。

“我们仍然不知道如何应对”

EHR供应商和医院运营商表示，他们正在为人工智能工具建立严格的内部标准，包括验证和频繁审计。

“政府监督有其作用，但我认为临床实践的发展更多是由医疗系统内发生的事情驱动的，”美国最大的EHR公司Epic的研发执行副总裁Seth Howard说。

在接受采访时，Epic、Oracle、Meditech和eClinicalWorks的高管表示，他们正在以严格的监督向医生提供人工智能，包括后端准确性检查和持续监控。

然而，技术领导者强调，这也是医院和临床医生的责任，确保一切按计划运作。

“我们正在从事一个关乎人命的行业。这不能轻视。我们不能低估所需的护栏、检查和平衡以及必须进行的讨论，”eClinicalWorks的首席执行官Girish Navani说。

在人工智能上下大注的技术巨头也有类似的感受。例如，Google与营利性医院巨头HCA合作，制定了一个评估框架，以捕捉其人工智能模型产生的任何错误并确保其可靠性，据Google Cloud的医疗保健主管Aashima Gupta称。

“我们提供了这些评估框架的工具，所有这一切都有一个人类在循环中捕获反馈，而这个反馈循环会使模型更有效，”Gupta说。“这就是让我感到安心的地方。”

“我们正在从事一个关乎人命的行业。这不能轻视。我们不能低估所需的护栏、检查和平衡以及必须进行的讨论。”

Girish Navani

eClinicalWorks首席执行官

尽管一些私营部门的人表示他们已经处理好了治理问题，但现代人工智能非常难以监督，根据人工智能工程师的说法。生成式人工智能的主要优势——其创造力——也引入了主观性，使其输出的评分变得复杂。

例如，如果两名临床医生被要求根据临床笔记总结患者的病史，他们的结果可能会非常不同，尽管仍然是准确的。专家们说，生成式人工智能也是如此：当存在这种程度的变异性时，如何以标准化的方式衡量质量？

“人工智能治理仍然是一个成熟的过程，”哈佛大学的Spisak说。

医院高管表示，他们正在谨慎地处理监督工作。但一些研究表明，即使是简单的预测性人工智能模型，其治理系统也不够严格。去年发表在《新英格兰医学杂志》上的一项研究显示，已经有明确程序来使用和评估人工智能工具的医院仍在努力识别和缓解问题。

一名患者在一个配备了环境听音人工智能技术的房间内接受检查，以转录互动内容。

甚至一些资源最丰富、技术最先进的系统也在苦苦挣扎。

克利夫兰诊所有一个包括学术医疗中心各利益相关者的人工智能治理机构，据克利夫兰诊所的首席数字官Rohit Chandra说。该工作组监督人工智能对该组织患者和员工的影响，同时确保临床安全并讨论隐私、合法性和偏见等棘手问题。

但“我不认为我们已经完全搞清楚了，”Chandra在一个小组讨论中说。“‘幻觉’这个词只是在过去两三年里才出现。我们仍然不知道如何应对。”

标准组织CHAI的运营负责人Brenton Hill表示，医院应尝试让特定人员对工具的性能负责，作为包括高管、律师、医生和护士在内的更大治理机构的一部分。

医院需要决定如何有效地监控人工智能并报告这些信息，这取决于他们拥有的产品。他们还需要考虑人工智能将使用的资源，并与人工智能供应商签订适当的数据使用协议，Hill在一个小组讨论中说。

但“没有一种万能的治理结构可以解决所有问题，”Hill说。

“一个幻想”

尽管来自联邦监管机构的路线图会有帮助，但致力于将人工智能工具整合到医疗保健中的利益相关者表示，他们并没有屏息等待。

“虽然自我监管是好的，但我们认为这还不够。我们认为人工智能太重要了，不能不进行监管，”Google的Gupta说。

但当被问及她对特朗普政府有何期待时，Gupta的态度模棱两可。“现在很难说。我们正在试图找出如何最好地与他们合作，分享我们的最佳实践……现在还为时尚早。我认为整个医疗界都在等待这一点，”Gupta说。

其他专家表示，特朗普政府是一个警钟，提醒那些曾希望华盛顿能够承担起监督人工智能责任的医院高管。

相反，应该由接触这项技术的所有人确保人工智能算法——考虑到它们不断变化的本质和内在的不透明性——按设计运行，特别是在一个任何错误都可能影响患者健康的行业中。

“简单答案是，如果这个监管机构说它是安全的，那么我就可以信任它。我认为人们希望这可能会发生在人工智能上，”Notable公司的首席医疗官Aaron Neinstein说。“我认为这是一个幻想。”

(全文结束)