尽管强大的AI治理需要吸引人工智能生态系统中的各种利益相关者的参与，但美国的安全网组织基本上被排除在这种合作之外。如果不重新调整AI治理议程，边缘化的患者将不成比例地承担美国医疗系统中AI的风险。为了防止这种数字不平等和组织间的数字鸿沟的复制，我们建议各方利益相关者采取具体步骤，以促进更公平的政策和实践。
摘要
虽然伦理AI旨在为患者带来最大利益和最小伤害，但需要基于共识的护栏。制定这些护栏的努力主要由学术专家设想AI治理，行业利益相关者设计相关工具，以及联邦和州机构制定指南和法规。这些努力产生了多种AI风险管理、质量保证和评估的治理框架，旨在指导医疗机构在考虑部署AI工具时参考。然而，这些治理框架通常反映了美国大型医疗系统和学术医疗中心（AMC）的情况，导致了安全网提供者（如联邦合格健康中心（FQHC）和安全网医院）的治理差距，这些组织往往缺乏内部数据科学能力或其他资源来遵循这些指南。患者群体、劳动力、资源、组织结构和IT环境的不同意味着现有框架通常不足以适应安全网情境。因此，直接让安全网组织（SNOs）参与设计医疗保健中安全和伦理AI的最佳实践是必要的，而不是对现有框架进行微调或外包治理的各个方面。
引言
伦理AI要求在最大限度地造福患者的同时最小化伤害，这需要基于共识的护栏。制定这些护栏的努力主要由学术专家设想AI治理，行业利益相关者设计相关工具，以及联邦和州机构制定指南和法规。这些努力产生了多种AI风险管理、质量保证和评估的治理框架，旨在指导医疗机构在考虑部署AI工具时参考。然而，这些治理框架通常反映了美国大型医疗系统和学术医疗中心（AMC）的情况，导致了安全网提供者（如联邦合格健康中心（FQHC）和安全网医院）的治理差距，这些组织往往缺乏内部数据科学能力或其他资源来遵循这些指南。患者群体、劳动力、资源、组织结构和IT环境的不同意味着现有框架通常不足以适应安全网情境。因此，直接让安全网组织（SNOs）参与设计医疗保健中安全和伦理AI的最佳实践是必要的，而不是对现有框架进行微调或外包治理的各个方面。
AI悖论
医疗AI的悖论在于，安全网组织（SNOs）可能从AI的潜在益处中获益最多，但也特别容易受到其风险的影响，如偏见和歧视。尽管资源有限，且没有为患者群体设计定制AI工具的能力，SNOs仍在考虑将AI工具作为解决长期挑战的潜在解决方案的一部分。例如，安全网临床医生在提供护理时面临交叉健康不平等的危害，承受着特别大的压力和倦怠威胁。环境书写的AI技术可以响应他们的文档负担，减轻临床医生的压力，如果这些工具能够在减轻文档负担的同时改善医患互动，那么它们可能会有效。如果环境书写的AI工具能高效融入临床医生的工作流程，在多种语言环境中可靠运行，并减少文档时间，SNOs可以使用这些工具来减少临床医生的倦怠。然而，尚不清楚这些工具是否能满足这些标准，而SNOs通常没有能力进行全面评估或持续的实施后监控，这是治理的关键组成部分。鉴于这些限制和本地评估的需求，这个用例突显了让SNOs参与开发医疗AI议程的重要性，以克服未解决的挑战，否则将导致组织间AI数字鸿沟的扩大。
SNOs在追求有效的AI实施时面临许多与其学术和大型医疗系统的同行相同的障碍，如关于价值证据和实施后监控的问题。同样，关于偏见和模型漂移的担忧也是共享的。然而，SNOs每年照顾数百万患者，资源远少于其AMC或大型医疗系统的同行，同时应对威胁患者健康的交叉不平等。他们面临资源约束，保持患者参与和公平的重点，并在护理交付环境中挣扎于劳动力挑战。其治理能力的局限性不是其资源充足的同行所共有的，需要特别关注以防止组织间数字鸿沟的加剧。
资源约束
由于当代压力如医疗补助解除和长期以来低报销率造成的财务挑战，SNOs面临财务紧张。例如，大约一半的社区健康中心患者有医疗补助覆盖，18.6%的人没有保险，2022年有25%的健康中心只有63天的现金储备。市场上的AI工具对于SNOs来说往往过于昂贵。即使有实证证据证明其价值，购买、评估和持续监控AI的成本意味着SNOs通常无法全面治理它。这可能导致他们避免这项技术及其潜在的好处。或者，由于希望缩小组织间数字鸿沟，他们可能会在无法有效治理的情况下实施AI工具。
尽管致力于患者隐私、联邦和州合规以及信息安全，SNOs可能还需要与缺乏足够保护或提供次优数据共享条款的供应商合作，以推进AI能力。外部供应商不断向他们推销AI转型和效率，内部则担心如果AI工具被证明有用和有效，进一步落后于卫生信息技术。SNOs在实施和有意义地使用各种形式的卫生信息技术方面历来落后于其同行。无论是完全避免还是有限治理，都无法提供可持续或公平的前进道路，强调了直接资源分配、技术专业知识提供和量身定制的解决方案，以最小化SNOs评估和实施安全、伦理AI的成本。
患者参与和公平
在一些组织中，公平被视为主要AI治理优先事项的可选补充，但这可能不适用于专门提供护理给边缘化患者和社区的SNOs。不同机构在治理努力中赋予公平的权重差异可能是当前治理指南或协作与SNOs之间错位的来源。许多当前框架并未反映公平作为关键优先事项或核心动机。相反，它们可能仅提出偏见或公平评估。然而，偏见和公平并不等同于公平（即消除系统性健康差异或其社会决定因素之间的优势和劣势社会群体）。以预测错过预约为例，一个工具可能在不同种族和民族群体中表现出同等性能，但使用该工具双重预订预约槽并不是促进健康公平或获得护理的做法。相反，它会延续所谓的恶性偏见，即社会不平等反映在健康状况的差异上。因此，当前治理框架中的公平要素可能不足以支持SNOs在其优先考虑公平的工作中。AI治理议程需要直接参与患者并以公平为核心，超越算法公平，以产生有意义和相关的治理指南，包括和支持安全网。
能力和劳动力
医疗AI的大部分希望寄托于组织治理能力，以确保安全和公平。一些早期采用的机构已经设计了自己的内部治理流程来管理AI。然而，SNOs通常没有数据科学能力来构建、校准或本地验证模型，即使有像Epica的开源Seismometer这样的工具可用。竞争和资源差异使得雇佣和保留技术专家和临床信息学家极其困难甚至不可能。招聘和保留是整个安全网的慢性问题。SNOs还常常处于不利地位，无法获得所需的法律专业知识来管理复杂的合同安排，这些安排可能影响AI使用的医疗责任和数据权利或与供应商的冲突，增加潜在的风险暴露。保护SNOs及其患者免受低质量或有偏见工具侵害的供应商导向法规和指南将标志着安全网AI的重大进步。这些保护措施将帮助SNOs抵御部分风险，减少能力限制带来的负面影响。此外，直接提供资源和技术专业知识，以促进最佳实践的执行，如本地验证，对于SNOs而言是必要的。无论是通过与其他组织合作还是拥有招聘和保留AI专家的资源，这些都是发展SNO治理能力的必要条件。为安全网设计的可操作、简洁的治理工具包或框架也将标志着从当前状态的重大进步。
下一步行动
AI生态系统的各个组成部分，包括治理协作、行业和政策制定者，应采取关键步骤，以避免AI中组织数字鸿沟的固化（图1）。首先，根据现有的伦理原则，促进SNOs及其患者受益于AI可能价值的严格评估是当务之急。如果没有确保公平、有效性和安全性的专业知识，数字不平等的风险将增加。其次，进行伦理监督并要求AI供应商声明是政策制定者和监管者可以采取的高影响力步骤，以促进安全的AI用于SNOs。例如，扩展ASTP/ONC的HTI-1将提供更大的保护，使其免受有偏见和不透明工具的影响。HTI-1列举了认证健康IT供应商关于预测决策支持工具透明度的要求，这意味着健康系统用户将获得有关底层数据和测试的最低限度信息。这种供应方规则将惠及所有健康IT客户，并有助于SNOs在AI治理工作中的努力。
图1：安全网AI挑战和政策建议。
每个安全网面临的每个差距或挑战都与AI生态系统在美国的三个响应性建议相连接。
扩大AI治理议程中组织观点的多样性至关重要。行业和政策制定者应将SNOs及其患者纳入决策过程，以确保他们产生的指南对这些社区相关且适当。可持续地参与SNOs及其患者社区可以通过补偿这些个人或其组织来实现。医疗AI利益相关者应提供实用和相关的资源，使SNOs能够参与强有力的AI治理。最后，应努力通过投资特定于SNOs的工具设计来促进AI的公平质量，以缩小医疗AI的质量差距。这种方法可能防止工具在一种环境中表现良好但在其他环境中失效的转换问题，通常由于数据捕获、患者群体和组织工作流程的差异。为安全网设计工具将减少在不太可能在安全网环境中表现良好的工具上进行验证所需的资源。
结论
安全网组织面临着确保AI公平、有效和安全的普遍挑战。然而，其资源约束和以公平为核心的使命需要额外的资源和努力，以确保AI数字鸿沟不会扩大。AI生态系统的领先采用者、开发者、行业协作、政策制定者和监管者应直接参与和支持SNOs，以制定服务所有患者公平的AI治理议程。
(全文结束)
