2025年1月13日，加州总检察长（“AG”）Rob Bonta发布了一项咨询，描述了医疗服务提供者和企业在开发、销售和使用人工智能（“AI”）和自动化决策系统（“ADS”）方面的义务（“咨询”）。该咨询通知医疗保健提供者、保险公司和为医疗行业服务的企业，总检察长对AI的高度关注，以及与AI系统相关的各种潜在执法选项。以下是我们的十大要点：
- AG认为广泛的“医疗实体”有责任确保AI和ADS遵守加州法律。咨询不仅针对传统的医疗参与者，如医疗服务提供者、保险公司和研究人员，还包括为这些传统方提供服务的企业，如供应商、开发者、研究人员和投资者。所有“开发、销售或使用”AI的医疗实体“必须确保其系统符合保护消费者的法律”。具体而言，医疗实体应确保AI系统经过测试、验证和审计，以确保其使用安全、合乎伦理且合法，并减少而非复制或夸大人为错误和偏见。此外，透明度也至关重要，医疗实体应公开使用患者数据训练AI模型的情况，以及医疗提供者如何使用AI做出患者健康决策。但除此之外，咨询还明确指出“企业也可能因提供AI工具而承担责任，当他们知道或应当知道AI将被用于违反法律时”。
- AG列出了五种可能违法的行为。这些行为包括使用AI或ADS：（1）推翻医生关于保险覆盖范围和/或医疗必要性的决定；（2）起草包含“错误或误导性信息”的患者记录、沟通或命令，例如带有歧视性刻板印象的信息；（3）基于患者的“过去医疗索赔数据”进行预测，导致“弱势患者或群体被拒绝服务”，而“过去获得充分医疗服务的群体得到增强的服务”；（4）预测患者是否是“更有可能错过预约的人”，从而设置行政障碍限制医疗访问，如重复预约；（5）对残疾人进行基于“低估残疾人生命价值的刻板印象”的治疗成本效益分析。
- AG认为加州的《不公平竞争法》（UCL）广泛适用于医疗保健中的AI和ADS。AG解释说，《UCL》的用词“宽泛且具有包容性”，旨在保护加州居民免受明显的和熟悉的欺诈和欺骗行为，同时也涵盖新的、创新的和前沿的误导性行为。除了传统的“不公平”行为，如虚假广告和反竞争行为，使用、销售或开发AI或ADS系统的医疗实体还应注意，“违反任何其他州、联邦或地方法律都是‘独立可诉的’”。
- AI不能在加州行医。AG指出，加州禁止“公司和其他‘人工法人实体’”从事医疗活动，并规定“只有人类医疗专业人员可以在加州合法行医”。因此，AG的立场是，AI和ADS不能推翻提供者关于患者护理、医疗需求或保险覆盖的决定。
- AG提醒提供者避免以可能违反专业执照和/或道德规则的方式投资AI。咨询中提到，提供者不得将医疗实践委托给AI或ADS，而且如果他们或其家庭成员在AI服务中有经济利益，可能会“违反利益冲突法”。
- 加州总检察长关注AI和ADS可能做出的歧视性和偏见性决定。接受“任何州支持”且“主要从事提供医疗保健业务”的实体或个人不得基于受保护的分类（如性别、种族、肤色或宗教）进行歧视。咨询对构成歧视的行为采取了广泛的观点——即使AI和ADS系统对受保护群体的预测“不那么准确”（无论数据可用性如何），也可能被视为歧视。确实，“虽然某项政策或工具表面上可能是中立的，但医疗实体不得忽视或回避与种族、性别或其他受保护分类相关的不平等数据”。AG还指出，加州正在调查医疗算法中的潜在歧视行为。
- 在引入患者数据到AI或ADS时，必须维护隐私和保密性。咨询提醒医疗实体，在向AI和ADS系统引入患者数据时，应考虑《加州医疗信息保密法》（“CMIA”）、《健康保险流通与责任法案》（“HIPAA”）、《基因隐私信息法》（“GINA”）和《加州消费者隐私法》（“CCPA”）规定的隐私权和限制，如用于培训或评估。
- AG建议医疗提供者在使用AI进行诊断或治疗前获得患者的知情同意。加州法律规定，提供者必须获得患者对其“拟议治疗方案”的知情同意。AG借鉴隐私法规，指出使用强制手段或“暗模式”获得同意会干扰患者的自主权和知情同意的有效性。AG建议，寻求使用AI和ADS进行医疗护理的同意可能是患者更愿意的选择，因为最近的《加州健康政策调查》显示，大多数加州人对医疗保健中使用AI感到“不安”。
- AI和ADS对敏感数据（如生殖和性健康数据）的使用和访问应适当限制。CMIA要求“医疗服务提供者”（包括一些数字健康公司和移动应用程序）维护加州患者的医疗信息保密性，并最近修正案将某些生殖和性健康数据归类为“敏感信息”。AG表示，“随着[电子健康记录]及其相关应用程序越来越多地结合AI，开发者和用户必须确保遵守CMIA，并限制敏感信息的不当访问和使用”。
- 咨询并非涵盖所有可能适用的法律。咨询“并不涵盖所有可能适用于医疗AI的法律”。它还指出，除了可能出现的新法律外，“侵权、公共卫生、慈善信托、竞争和刑事法律同样适用于AI系统”。AG进一步澄清：“不涉及AI的非法行为在涉及AI时同样是非法的，AI的参与并不是任何法律责任的抗辩理由”。
(全文结束)
