近年来，随着人工智能（AI）的发展，各州立法机构，包括加利福尼亚州的立法机构，都在考虑如何在确保患者安全和护理质量的同时，满足医疗保健交付和实施中对效率的需求。此前，霍兰德与奈特律师事务所讨论了德克萨斯州在医疗保健中使用生成式AI的标志性和解案例，现在将关注点转向加利福尼亚州州长加文·纽森，他最近批准了参议院第1120号法案（SB 1120）和众议院第3030号法案（AB 3030），但否决了参议院第1047号法案（SB 1047）。尽管这三项法案都涉及AI软件的使用监管，但每项法案的监管方式各不相同：SB 1120针对利用审查（UR）过程中的AI使用，AB 3030建立了患者通知要求，而SB 1047则探讨了安全创新。这些法案表明，加利福尼亚州正在为医疗保健领域的AI监管铺平道路，但该州将采取何种程度的监管措施以及会走多远仍然是未知数。至少，SB 1120和AB 3030的最近通过预计将影响医疗保健提供者、保险公司和供应商。
利用审查过程中的AI软件（SB 1120）
健康计划通过UR和利用管理（UM）流程批准或拒绝服务覆盖。在确定治疗的医学必要性时，健康计划开始使用AI来加快UM和UR的决定。然而，由于这些决定具有患者特定性，加利福尼亚州限制了UR和UM流程中AI的使用，以提高和标准化临床一致性和公平性。使用AI或类似软件进行UR的健康服务计划现在必须遵守以下规定：
- UR决定必须基于相关适用标准，包括临床历史、情况和记录信息，而不是依赖于群体数据集。
- 医疗保健提供者必须是最终决策者，任何AI或其他软件的使用必须公平和公正，以防止对投保人的伤害或歧视。
- AI或其他软件必须定期审查并接受检查，任何修订在审查后实施，以提高技术的准确性和可靠性。
- 计划必须在建立UR流程的书面政策和程序中披露有关AI或其他软件的使用和监督的信息。
2024年9月28日，纽森批准了SB 1120，该法案可能在全国范围内为保险商的AI基规设定了先例，以加快和提高覆盖决定的效率。加利福尼亚医院协会支持该立法，认为AI工具有助于简化覆盖决定，但缺乏“识别和适应个别患者独特情况的能力”。虽然在执行UR和UM时通常可以使用AI，但它不能确定医学必要性，因为这一任务需要临床判断，只能由持牌医生或其他合格的专业人员完成。该法案似乎是针对最近对知名商业保险公司使用AI进行UR过程的消费者集体诉讼的回应。SB 1120的影响可能是广泛的，以至于人类审查可能会有效地取消AI曾经允许的快速决定。这种对保险商和健康计划的潜在负担似乎与提供者在患者护理中行使临床判断的伦理义务相平衡，并与UR中索赔标准化的工业需求相平衡。对于在加利福尼亚州使用AI的保险商，监督该过程的医疗主任需要解决AI在UR中的使用方式，以确保最终的医学必要性决定是由合格的人类而非技术层面做出的。
患者沟通中的生成式AI（AB 3030）
进一步展示了该州在医疗保健领域对AI的关注，纽森还在2024年9月28日签署了AB 3030。该法案对任何使用生成式AI进行基于临床的患者沟通的医疗机构、诊所、医生办公室或其他团体实践施加了重要的披露要求。在涉及患者临床信息的任何沟通中，具体要求如下：
- 免责声明：免责声明必须告知患者该沟通是由AI生成的。对于书面沟通，免责声明必须出现在沟通的开头，如果是物理或数字媒体，则必须在整个连续在线互动中保留。对于音频沟通，免责声明必须在互动开始时口头告知。对于视频沟通，免责声明必须在整个互动过程中显示。
- 明确指示：必须提供明确的指示，说明患者如何联系设施或提供者中的个人。
唯一的例外是，如果AI生成的沟通首先由持牌或认证的（人类）医疗保健提供者阅读和审查。因此，该法案的通过可能会影响医疗保健提供者对AI的使用或采用，因为他们需要建立和维护上述措施，以确保在涉及临床信息的患者沟通中使用生成式AI时的合规性。披露的负担，以及此类披露是否会影响患者在提供者之间选择护理的情况，将在加利福尼亚州的提供者审查其沟通政策并纳入适当的免责声明和明确指示以确保遵守新法律时出现。
安全和创新被否决（SB 1047）
尽管SB 1120和AB 3030都对医疗保健提供者和保险商在AI使用方面施加了更严格的要求，但州长在未考虑AI模型的预期用途时划定了监管界限。事实上，纽森在他的最近否决《前沿AI模型的安全和创新法案》（SB 1047）时澄清，该法案的要求过于严格，因为它未能考虑到AI系统使用的具体情况，特别是是否涉及“关键决策或敏感数据的使用”。具体而言，该法律将施加严格的监管，包括网络安全保护以防止未经授权访问或滥用、中断时的关闭功能、最小化和预防不合理关键风险的安全协议、安全措施和程序的重新评估、年度合规审计和定期事件报告。尽管加州尚未实施如此严格的监管，但立法机构表示，类似的、或许不太严格的法案最终将获得通过只是时间问题。纽森在解释他的否决时表示，加州愿意更积极地监管AI安全，但他更希望联邦政府制定统一的国家标准。尽管围绕AI的关注包括担心这项新技术可能误导公众、允许深度伪造和其他形式的虚假信息传播，但对AI可能造成的危害的担忧仍然主要是假设性的。作为几代人以来世界领先的科技孵化器，加州将在采取更有针对性的行动之前收集更多关于AI实际危害的信息。AI在国防、医疗保健、金融科技（FinTech）和关键基础设施中的应用可能会引发对其AI平台的有针对性的监管尝试以及关于全面AI保护的辩论。开发者应采用保护用户隐私的协议，努力减少幻觉（特别是在技术的敏感应用中），并考虑提供更多关于其平台的透明度。尽管该法案被否决，但在最近的一项民意调查中，它得到了大多数加州居民的支持，平均支持率为56.9%，这表明公众对AI感到担忧，并支持对该技术进行更严格的监管。虽然科技行业目前有机会向政策制定者和公众展示其自我监管的能力，但这一窗口正在关闭。
展望未来
在未来几个月内，加州的科技和医疗保健公司可以期待看到新的立法提案，重点关注预期用途和后果决策，这可能会继续增加AI领域的医疗保健法规，超越SB 1120和AB 3030。此外，随着SB 1120和AB 3030的实施，加州的医疗保健实体和保险公司必须开始披露其在UR和患者沟通中对AI的使用和依赖。此外，其他州很可能在未来不久也会考虑和采纳医疗保健行业的AI重点法规。
(全文结束)
