人工智能（AI）正越来越多地融入医疗保健运营中，从行政职能如排班和账单到临床决策，包括诊断和治疗建议。尽管AI带来了显著的好处，但关于偏见、透明度和问责制的担忧促使了监管回应。科罗拉多州的人工智能法案（The Act）将于2026年2月1日生效，对部署高风险AI系统的实体施加治理和披露要求，尤其是那些涉及影响医疗保健服务和其他关键领域的重大决策的系统。
鉴于该法案的广泛适用性，包括其对在科罗拉多州开展业务的实体可能具有的域外效力，医疗保健提供者必须主动评估其AI的使用情况，并为即将出台的法规做好准备。下文讨论了该法案的目的、适用的AI类型、未来法规、对提供者的潜在影响、法定合规要求和执行机制。
1. 该法案旨在保护什么？
该法案主要旨在减轻算法歧视，即由AI驱动的决策导致基于某些特征（如种族、残疾、年龄或语言能力）对个人进行非法差别待遇或造成不利影响。该法案力求防止AI强化现有偏见或做出不公平地损害特定群体的决策。
算法歧视在医疗保健中的例子：
- 获取医疗服务的问题： 基于AI的电话排班系统可能无法识别某些口音或准确处理非英语使用者的信息，使非母语英语使用者更难以预约医疗检查。
- 有偏见的诊断工具和治疗建议： 某些AI诊断工具可能会因为训练数据中的偏见而为不同族裔的患者推荐不同的治疗方法。例如，一个主要基于白人患者数据训练的AI模型可能会错过黑人或西班牙裔患者早期疾病的不同表现，从而导致不准确或效果较差的治疗建议，这对历史上被边缘化的群体尤其不利。
- 通过针对这些及其他由AI驱动的不平等现象，该法案旨在确保自动化系统不会强化或加剧医疗保健获取和结果方面现有的差异。
2. 该法案适用于哪些类型的AI？
该法案广泛适用于使用AI与科罗拉多州居民互动或对其作出决策的企业。虽然某些高风险AI系统——那些在重大决策中起重要作用的系统——受到更严格的要求，但该法案对大多数用于医疗保健的AI系统施加了义务。
法案中的关键定义：
- **“人工智能系统”**指任何生成输出（如决策、预测或建议）的机器系统，这些输出可以影响现实世界环境。
- **“重大决策”**指对消费者获取或支付医疗保健、保险或其他基本服务产生实质性影响的决策。
- **“高风险AI系统”**指任何做出或显著影响重大决策的AI工具。
- **“重要因素”**指协助做出重大决策或有能力改变重大决策结果，并由AI系统生成的因素。
- **“开发者”**指AI系统的创建者。
- **“部署者”**指高风险AI系统的用户。
3. 医疗保健提供者如何确保合规？
尽管该法案设定了广泛的义务，但具体法规仍在制定中。科罗拉多州总检察长负责制定澄清合规要求的规则。这些法规可能涉及：
- AI系统的风险管理与合规框架。
- 面向消费者的AI应用的披露要求。
- 评估和缓解算法歧视的指导。
医疗保健提供者应密切关注法规框架的发展，以确保其与AI相关的实践符合州法律。
4. 该法案如何影响医疗保健运营？
该法案将要求医疗保健提供者具体评估其在各个运营领域的AI使用情况，因为该法案广泛适用于任何影响决策的AI系统。鉴于AI在患者护理、行政职能和财务运营中的日益重要性，医疗保健组织应在多个领域预期合规义务。
账单和收款
- 应审查由AI驱动的账单和理赔处理系统，以防止对特定患者人群的债务催收工作产生不成比例的影响。
- 部署者应确保其AI系统不会无意中为特定患者群体制造财务障碍。
排班和患者访问
- 基于AI的排班助手必须设计为能够容纳残障人士和有限英语能力的患者，以防止无意的歧视和延迟就医。
- 提供者应评估其AI工具是否优先考虑某些患者，这可能会被视为歧视。
临床决策和诊断
- AI诊断工具必须经过验证，以确保它们不会对不同人口统计群体产生有偏见的结果。
- 使用AI辅助分流工具的医疗保健组织应建立审查AI生成建议的协议，以确保公平性和准确性。
5. 如果您使用AI，需要遵守什么？
该法案为开发者和部署者设定了不同的义务。医疗保健提供者通常作为“部署者”，而非开发者。医疗保健提供者应仔细审查与开发者的合同关系，以适当分配风险和共享信息，因为提供者将AI工具集成到其运营中。
- 开发者的义务（AI供应商）
- 向部署者披露： 开发者必须提供有关AI系统培训数据、已知偏见和预期用例的透明度。
- 风险缓解： 开发者必须记录最小化算法歧视的努力。
- 影响评估： 开发者必须在部署前评估AI系统是否存在歧视风险。
- 部署者的义务（例如，医疗保健提供者）
- 避免算法歧视的义务
- 高风险AI系统的部署者必须采取合理措施，保护消费者免受已知或可预见的算法歧视风险。
- 风险管理政策与计划
- 部署者必须实施风险管理政策和计划，识别、记录并缓解算法歧视的风险。该计划必须是迭代的，定期更新，并与公认的AI风险管理框架一致。要求因部署者的规模、复杂性、AI系统的范围和数据敏感性而异。
- 影响评估（定期和事件触发的审查）
- 时间要求： 部署者必须进行影响评估：
- 在部署任何高风险AI系统之前。
- 每年至少一次对每个已部署的高风险AI系统。
- 在对AI系统进行有意和重大修改后的90天内。
- 所需内容： 每个影响评估必须包括AI系统的目的、预期用途和好处，对算法歧视风险及其缓解措施的分析，描述处理的数据（输入、输出和任何定制数据），性能指标和系统限制，透明度措施（包括消费者披露），以及部署后监控和保障措施的细节。
- 重大修改的特殊要求： 如果由于重大修改而进行影响评估，则还必须解释AI系统的实际使用与其最初预期目的的一致性或偏差。
- 通知与透明度
- 公共声明： 部署者必须在其网站上发布一份声明，描述他们使用的高风险AI系统以及如何管理歧视风险。
- 通知患者/员工： 在AI系统做出重大决策之前，个人必须被告知其使用情况。
- 决策后解释： 如果AI对不利决策有所贡献，部署者必须解释其作用，并允许个人上诉或纠正不准确的数据。
- 总检察长通知： 如果发现AI造成了算法歧视，部署者必须在90天内通知总检察长。
小型部署者（少于50名员工且未使用自己的数据训练AI模型）免除许多这些合规义务。
6. 该法案如何执行？
- 只有科罗拉多州总检察长有权执法。
- 如果部署者遵循公认的AI风险管理框架，则存在合规的可反驳推定。
- 消费者不能直接根据该法案提起诉讼，即没有私人诉权。
医疗保健提供者应尽早采取行动，评估其AI使用情况并实施合规措施。
最后的想法：医疗保健提供者现在应该做什么
- 该法案标志着AI监管的重大转变，特别是对于越来越依赖AI工具进行患者护理、行政职能和财务运营的医疗保健提供者。
- 尽管该法案旨在提高透明度并减轻算法歧视，但它也施加了重大的合规义务。医疗保健组织将不得不评估其AI使用情况，实施风险管理协议，并保持详细的文档记录。
- 鉴于不断变化的监管环境，医疗保健提供者应采取积极的态度，审计现有的AI系统，培训员工了解合规要求，并建立符合最佳实践的治理框架。随着科罗拉多州总检察长的规则制定进展，及时了解额外的监管要求将是确保合规和避免执法风险的关键。
- 最终，该法案反映了AI监管的更广泛趋势，这一趋势可能会超越州界。现在投资于AI治理的医疗保健组织不仅会降低法律风险，还将维持患者在一个越来越由AI驱动的行业中对他们的信任。
- 如果医疗保健提供者计划将AI系统集成到其运营中，进行彻底的法律分析至关重要，以确定该法案是否适用于其特定用例。这还应包括仔细审查和谈判与AI开发者的服务协议，以确保提供商获得足够的信息和合作，以遵守该法案并适当地分配风险。
合规并不是一刀切的过程。它需要仔细评估AI工具、其功能及其对重大决策的潜在影响。组织应与法律顾问密切合作，以导航该法案的复杂性，实施风险管理框架，并建立持续合规的协议。随着AI法规的演变，积极的法律评估对于确保医疗保健提供者不仅满足监管要求，还坚持符合行业标准的道德和公平的AI实践至关重要。
(全文结束)
