随着媒体每日报道对人工智能（“AI”）的兴趣激增，AI初创公司吸引了大量资本涌入。截至2024年最后一个财政季度（12月31日），投资者向AI相关初创公司注入了420亿美元。为什么会有如此大的兴趣？因为在许多方面，AI可以带来变革，并在极短的时间内指数级地提升学习效率，而所需的人力资源极少。它可以快速解析和总结重复模式的数据，进行研究和分析。
本文重点关注生成式AI，这是AI的一个子集，定义为一类模仿训练数据特征和结构以生成衍生合成内容（即学习到的信息）的AI模型。通过收集和分析大量数据和信息，生成式AI在医疗保健中的应用包括：
- 收集和分析医学扫描图像，突出异常并建议潜在治疗方案；
- 收集患者监测数据，制定个性化治疗计划；
- 提醒患者按时服药；
- 协助提供者完成病历记录，提高护理效率和速度。
鉴于其对美国医疗保健系统各个方面的重大影响，分析生成式AI带来的法律、监管和伦理问题是至关重要的。从表面上看，规范生成式AI的法律框架变化迅速，州和联邦立法机构及监管机构正努力跟上AI的快速发展步伐。目前，只有加利福尼亚州、科罗拉多州和犹他州制定了AI法规，而全国范围内的联邦和州级立法正在积极审议中。
2024年4月，美国各州医学委员会联合会（“FSMB”）发布了关于在医疗实践中使用AI的指导意见（“FSMB指导”）。具体而言，FSMB声明：
- 医生可以将AI视为辅助临床推理和判断的工具，但不能替代医生的临床判断。医生应了解所使用的AI工具的设计、训练数据及其输出结果，以评估其可靠性并识别和减轻偏见。一旦医生选择使用AI，他们必须对AI的建议做出适当回应（强调部分）。
- 使用AI的医生需对其执照负责，因此必须确认或更改AI的建议以确保患者安全。未能确认AI推荐的治疗可能导致医生失去执照。
此外，FSMB指导还明确要求：“许可人应保持在医疗保健中使用AI的透明度。”加州AB 3030法案最近也规定，任何使用生成式AI的医疗机构、诊所、医生办公室或团体实践办公室必须在所有书面、音频和视频通信中注明“该通信由生成式AI生成”。
由于生成式AI从其审查的基础数据中学习，基础数据中的任何偏见或偏见都可能被放大和强化。不负责任地部署的AI系统已经复制并加剧了现有的不平等现象。纽约州金融服务部于2024年7月11日发布的最终保险通函第7号禁止第三方支付人在纽约州使用AI，除非保险公司可以通过全面评估证明其承保和定价指南不会不公平或非法歧视。同样，加州参议院法案SB 1120限制在UM/UR功能中使用具有歧视性的AI和其他“软件工具”，并要求医生而非AI做出最终的UR/UM决定。
在结论中，FSMB提醒其成员注意使用生成式AI带来的伦理问题。具体而言，FSMB告诫其成员要关注“通过既定的伦理原则管理AI的使用，包括尊重患者自主权、不伤害、有益和公正的原则，这些原则一直是专业期望的基础，并在各种情况下得到证明。”
美国食品药品监督管理局（“FDA”）的角色之一是确保医疗器械的安全性和有效性。对于新接触FDA的软件开发者来说，重要的是要了解FDA并不是孤立地判断安全性和有效性。安全性和有效性总是与“预期用途”相关联，后者由联邦法律定义。FDA还监管符合法定医疗器械定义的技术的功能，无论平台如何。这包括作为医疗器械运行的软件，无论该软件位于笔记本电脑、手机、手表还是云端。
《联邦食品、药品和化妆品法》（“FDCA”）将医疗器械定义为：用于诊断疾病或其他情况，或用于治愈、缓解、治疗或预防人类或其他动物疾病的仪器、设备、实施、机器、装置、植入物、体外试剂或其他类似或相关物品，或用于影响人类或其他动物身体结构或功能的物品，但不依赖于化学作用或代谢来实现其主要预期目的。
《21世纪治愈法案》于2016年通过并签署成为法律，澄清了哪些用于提供医疗服务的软件属于FDA的医疗器械定义，哪些不属于，从而超出FDA的管辖范围。在此之前，FDA声称对所有与医疗保健相关的软件拥有管辖权，然后对某些产品行使“执法自由裁量权”。这种不确定性导致了2016年的法律变更。
根据《FDCA》，有五种与健康相关的软件，其中四种被排除在医疗器械定义之外，第五种（也是本文最重要的）被分为两部分。为了完整起见，以下是四种被排除在外的健康相关软件：
- 意在为医疗机构提供行政支持的软件功能；
- 意在维持或鼓励健康生活方式的软件功能（通常称为“健康”产品）；
- 意在作为电子病历的软件功能；
- 意在传输、存储、转换格式、显示数据和结果的软件功能（通常称为医疗设备数据系统或MDDS）
第五类是临床决策支持软件，即旨在帮助医生为特定患者做出诊断或治疗计划的软件。接下来讨论“预期用途”——其本身被定义为设备的一般用途或功能，包括使用说明。对于我们的目的，重要的是要理解“使用说明”更精确地描述了设备旨在诊断、治疗、预防、治愈或缓解的疾病或状况，还包括设备预期使用的患者人群。
临床决策支持技术（“CDS”）按定义，在医生决策过程中起到辅助作用。它不要求为医生做出决定才能被视为医疗器械（但如果它确实如此，则是）。这是因为法定定义中的“使用于”一词赋予了FDA在支持医生医疗判断的情况下监管这些软件产品的权力；因此得名临床决策支持。
最值得注意的是，“预期用途”和“使用说明”是由软件开发人员通过营销材料和其他关于技术的公开声明客观衡量的。FDA在2022年9月发布了关于临床决策支持软件的指南。最重要的是，受FDA监管的CDS与不受FDA监管的CDS之间的关键区别在于医生能否独立验证CDS如何产生其输出。这归结为透明度。如果软件开发人员披露医疗输入并以通俗易懂的方式描述算法如何评估患者特定信息与这些医疗输入，使得医生（理论上）可以重新创建过程以得出其医疗结论或判断，则FDA认为该软件为“非器械CDS”，不在其管辖范围内。然而，大多数情况下，软件开发人员将这些信息视为专有信息，因此不够透明，无法将其软件判断为非器械CDS。此类软件因此是医疗器械，需要在美国销售或推广之前获得FDA的许可或批准。
对于初次接触FDA世界的软件开发人员来说，“许可”是指适用于中等风险或II类医疗器械的“批准”。而“批准”是指适用于高风险或III类医疗器械的批准。风险被定义为对患者和用户（当设备为硬件时）的风险。对于CDS，风险配置文件取决于正在评估的疾病或状况。
生成式AI如何适应这一框架？这是关键问题。预计AI爆炸式增长，FDA自2020年开始建立数字健康卓越中心。过去几年中，它发布了几份指导文件，告知受监管行业和公众其对这些主题的当前思考。最近，FDA发布了最新的草案指南，强调其打算将总产品生命周期方法应用于AI基础设备的监管。它将继续演变，很可能是FDA努力在不阻碍其发展或使用的情况下监管基于生成式AI的CDS的焦点。然而，目前，该机构将需要依靠其基于风险的系统来监管不断变化的AI基础医疗器械。因此，我们预计基于生成式AI的CDS工具将需要FDA 510(k)许可或PMA批准。
下一个问题是，已获得许可的基于生成式AI的CDS的软件开发商何时需要寻求新的许可或批准。历史框架要求510(k)持有人在对技术进行可能影响其安全性和有效性的实质性变更时寻求新的许可。生成式AI将在哪个阶段触发对新许可的需求？我们面临的是法律和法规追赶技术发展的经典情况。我们将拭目以待。
数据隐私问题：训练和改进生成式AI工具通常需要大量数据，这为设计用于医疗保健行业的工具带来了独特的数据隐私和安全挑战。这是因为这些工具需要大量的健康数据，这些数据被认为是个人数据中最敏感的一种，使用这些数据会增加患者的隐私风险。尽管生成式AI技术的监管仍处于初级阶段，但当前的数据隐私和安全法律监管了许多这些工具处理的可识别个人健康信息，预计将出台更多此类法律。每个涉及健康数据的生成式AI用例，无论是开发此类工具还是在医院或其他医疗环境中实施，都必须根据《健康保险流通与责任法案》（HIPAA）的简化管理条款以及其他适用的州法律进行评估。
HIPAA隐私规则：HIPAA监管某些医疗服务提供者、健康计划和医疗结算中心。它还监管这些实体的供应商，只要这些供应商因执行某些类型的业务而接触到受保护的可识别健康信息（定义为PHI）。HIPAA隐私规则包含一套管理PHI使用和披露的规则。因此，生成式AI工具的开发人员和用户必须确定任何使用或披露PHI的基本目的，以确定是否有适用的例外情况允许该用例。通常情况下，对于开发或使用复杂技术如生成式AI时，人们对于HIPAA和其他隐私法律的适用性存在混淆或缺乏意识。重要的是要“回归基础”，记住在使用生成式AI时，HIPAA和适用隐私法律下的隐私分析并不会改变。使用此类技术可能会使分析更加复杂，因为它需要清楚了解技术的工作原理和所有数据流。然而，基本规则仍然适用。
其他保护健康数据的隐私法律和法规：除了HIPAA，还有许多联邦和州级别的法律和法规旨在保护健康数据。例如，《42 CFR Part 2》最近进行了修订，以更好地与HIPAA一致，但它包含了一些比HIPAA更为严格的要求，必须考虑任何涉及此类信息的生成式AI用例。在州一级，还有长期存在的法律管理HIV、酒精和药物使用数据、基因数据和心理健康数据。这些法律往往比HIPAA更为严格，限制了在HIPAA下原本允许的使用和披露。除了上述管理特定类型健康数据的州法律，州一级还大力推动制定综合隐私法律，包括对健康数据的监管，以及专门针对所有类型健康数据的州法律。这些法律通常适用于不受HIPAA监管的实体，旨在填补个人数据（包括健康数据）未受其他隐私法律和法规保护的空白。
健康数据隐私风险和缓解策略：除了与生成式AI相关的其他风险（如可靠性问题和偏见风险）外，未经授权使用或披露健康信息以训练或改进这项技术也存在隐私风险。鉴于必要数据的大规模和敏感性，还存在网络攻击和其他类型的数据泄露风险。此类未经授权的使用或披露，包括数据泄露，可能导致监管执法、罚款和处罚，以及诉讼和声誉损害。现有的数据隐私和安全合规框架可以帮助缓解这些风险，包括现有的隐私和数据安全政策、程序和流程。对生成式AI风险和适当使用该技术的培训也可以帮助减少未经授权使用和披露健康数据的风险。
(全文结束)
