加利福尼亚州通过法律规范医疗保健服务中生成式人工智能的使用

California passes law to regulate Gen-AI use in healthcare

2024年9月28日，加利福尼亚州州长加文·纽森签署了《加利福尼亚州议会法案3030》（简称“AB 3030”），即《人工智能在医疗保健服务法案》。该法律将于2025年1月1日生效，是加州更广泛努力的一部分，旨在减轻生成式人工智能（简称“GenAI”）在加州潜在的危害，并引入了新的要求，针对使用该技术的医疗保健提供者。

AB 3030概述

AB 3030要求使用GenAI生成书面或口头患者通信的医疗机构、诊所及个人和团体医生的执业机构（统称为“受监管实体”）遵守以下规定：

1. 在患者通信中加入免责声明，明确告知患者该通信是由AI生成的（具体要求包括免责声明的显示方式和时间，视消息是书面、音频还是视觉形式而定）；
2. 提供明确的指示，说明患者如何联系人类医疗保健提供者、设施员工或其他适当人员，以获取有关消息的信息。

AB 3030试图通过确保患者了解其护理中使用了AI生成的响应来提高透明度和患者保护。该法律不适用于由持牌或认证的人类医疗保健提供者审查和批准的AI生成通信。这一条款得到了多个州级医学协会的支持，因为这些协会担心，否则提供者可能会被阻止利用AI节省时间的好处来辅助临床决策。

此外，AB 3030不适用于与行政和业务事项相关的通信，如预约安排、检查提醒和账单。该法律将通信范围限制在“患者临床信息”，即与患者健康状况相关的信息，因为护理相关通信中的错误有可能造成更大的患者伤害。

GenAI的定义

AB 3030将GenAI定义为“能够生成衍生合成内容的人工智能，包括图像、视频、音频、文本和其他数字内容”。该定义的关键方面是“合成”，意味着系统新创建的输出，而不是对现有数据集的预测或建议。一个熟悉的例子是大型语言模型（简称“LLMs”），它们生成原创文本。

违反AB 3030的医生将受到加州医学委员会或骨科医学委员会的管辖。违反法律的持牌医疗机构和诊所将根据《加州健康与安全法》第2章和第1章的第3条进行执法。

使用GenAI在医疗保健中的利弊

AB 3030旨在平衡减轻医疗工作者行政负担、增加GenAI使用透明度和减轻GenAI使用潜在危害等竞争目标。该法律并未直接监管患者临床信息通信的具体内容。因此，只要涉及患者临床信息的通信包含所需的免责声明和指示，受监管实体可以使用GenAI工具。

提供者可能从这种工具中受益的原因有很多。例如，医疗记录（如就诊笔记和医疗摘要）长期以来一直给临床医生带来负担，减少了与患者的互动时间。然而，在临床环境中使用GenAI也存在风险，可能为医疗保健提供者带来潜在责任，而AB 3030在这方面几乎没有缓解作用。

加州监管机构在2024年8月19日的参议院 floor analyses 中指出，AI生成的内容可能存在偏见，因为这些内容是基于历史上不准确的数据训练的，这可能导致某些患者群体接受次标准的护理。另一个风险是“幻觉”，即GenAI倾向于生成看似连贯但实际上没有任何现实依据的输出。这种现象在GenAI模型中很常见，包括LLMs，这些模型在回应查询时已知会编造可信的事实。最后，还存在隐私问题，因为无法从训练好的GenAI模型中删除数据而不抹去其先前的训练，这意味着大量患者数据可能会不必要的长时间保留在这些模型中。

医疗保健提供者和实体的考虑事项

AB 3030的通过，以及其他最近的加州AI法律，清楚地表明加州立法者关注AI透明度作为必要的行业标准。这些法规与美国医学会（简称“AMA”）的《增强智能开发、部署和使用原则》相一致，后者将透明度确定为医疗保健中实施AI工具的优先事项。加州的方法也大致遵循白宫的《人工智能权利蓝图》，该蓝图指出人们有权知道何时以及如何使用影响其生活的自动化系统。

在加州运营或向加州居民提供服务的医疗保健实体应采取措施，以确保其AI使用符合加州的新法规。这些实体还应加强对其AI工具的审查和监督，确保持续的临床记录和审查不会成为简单的批准程序。这有助于应对AB 3030对经提供者审查的AI通信的豁免可能导致患者产生虚假安全感的担忧。

展望未来，我们可能会看到其他州探索医疗保健行业中类似的AI监管。

(全文结束)