医疗保健行业一直是人工智能革命的前沿。人工智能在医疗保健中的好处显而易见——帮助患者克服健康素养障碍、加快研发和临床试验的完成速度、更有效地诊断罕见疾病、减少组织和计算系统之间患者数据交换的错误、自动化耗时的业务流程——所有这些都有助于实现降低成本和风险、增加合规性的乌托邦目标。## 当前状态与差距：人工智能监管
缺乏明确的监管来管理医疗保健领域的人工智能使用，限制了其发展。总体而言，医疗保健一直是受监管最严格的行业之一，拥有如FDA GxP指南等框架，这些框架被纳入21 CFR Part 11。这些法规鼓励良好实践，提高透明度，并使各利益相关者在管理患者健康方面更加负责。不幸的是，监管体制未能跟上技术进步的步伐，尤其是人工智能。
加剧这一问题的是，越来越多的初创公司专注于将人工智能应用于医疗保健价值链的不同方面。在天使投资者和风险资本基金的支持下，过去两年有超过4,000家人工智能初创公司成立，分析师预计未来几年还将有10,000家成立。随着如此多的创新和投资发生，解决关于训练数据中的偏见、幻觉和错误结果的可能性、数据隐私和信息安全、各地区伦理标准的缺失、医疗系统之间的数据互操作性等问题的正当关切变得更为迫切。
在联邦标准缺失的情况下，许多州提出了单独的人工智能法案和法规，如果这些法案通过，将无法形成推动行业采用所需的综合方法。最近，作为美国最大的科技中心之一的加利福尼亚州，正试图通过SB 1047和AB 2013这两项人工智能监管法案来解决这些问题，目前这两项法案已提交给加州州长加文·纽森。SB 1047不仅是一项旨在为大型人工智能模型的开发制定安全标准的雄心勃勃的法案，而且可能成为未来人工智能监管的风向标，影响美国医疗保健的未来。
在全球范围内，欧盟在2024年3月通过的《人工智能法》中率先定义了人工智能监管。根据该法，任何被归类为IIa级（或更高）的医疗器械或使用人工智能系统作为安全组件的系统均被指定为高风险。这些系统需要遵守一系列额外要求，其中许多要求与当前欧盟MDR和IVDR下的严格合格评定要求重叠。然而，《人工智能法》并未涵盖许多关键领域，如药物发现、临床试验招募、药物警戒和成员注册。此外，对于21 CFR Part 11中规定的审计和CSV要求（如IQ/OQ/PQ过程）在医疗保健领域的人工智能系统中的适用性，也缺乏明确的指导。## 训练数据集中的偏见和错误
另一个关键挑战是可用数据集中固有的偏见和错误信息。最引人注目的案例之一是剑桥大学的机器学习研究员德里克·德里格斯的研究。德里格斯构建了一个用于疾病诊断的机器学习模型，其准确性超过了医生。然而，进一步调查发现，他的模型存在缺陷，因为它是在一个包括患者躺卧和站立的扫描数据集上训练的。躺卧的患者更有可能病情严重，因此算法学会了根据扫描中人物的位置来识别疾病风险。这个案例听起来很像另一个著名的实验，其中一个AI模型通过搜索雪来判断图像中是狼还是哈士奇，因为算法的原始训练数据集中包含了大量冬季的狼的图像，而不是关注动物及其差异。
这些例子并不是孤立的个案。偏见和错误数据集是每个AI模型的内在和持续风险。一个强大的AI框架将有助于建立透明度和可预测性，使患者和监管机构能够信任AI模型。## 由AI驱动的诊断、自动化和药物发现
还有多个其他用例，其中AI被用于患者护理、疾病诊断、工作流自动化、药物发现等方面。这些用例主要可以归类为AI主要用于提高现有工作模式的速度和准确性。让我们来看几个这样的用例：
- 诊断患者：AI算法分析医学影像数据，如X光片、MRI和CT扫描，以协助医疗专业人员进行准确和快速的诊断。
- 转录医疗文件：自动语音识别（ASR）技术利用先进的算法和机器学习模型将口语转换为书面文本，提供一种更高效和准确的方法来记录医疗信息。
- 药物发现和开发：AI通过分析大量数据集来识别潜在的药物候选物并预测其有效性，从而加速药物发现过程。
- 行政效率：AI简化了计费和调度等行政任务，减少了文书工作，提高了医疗保健组织的整体运营效率。
尽管用例的数量和使用频率在增加，但核心存在一个基本悖论。当前的医疗保健监管方法基于可预测性。如FDA等监管机构根据在受控试验中生成的安全性和有效性数据审查药物和设备（NDA/BLA/PMA）的批准请求。然而，人工智能世界则基于不断使用新数据集进行训练。将AI模型限制在受控数据集或受限环境中，违背了使其有效的机器学习能力的目的。AI模型预计会根据周围环境的细微差异改变其对同一问题的响应。这两种方法彼此冲突。如果没有明确的监管框架，AI用例的赞助商和用户将承担法律责任和品牌风险。这确实是一个新的前沿领域，我们需要在健康政策方面取得与AI一样戏剧性的突破。## 结论
世界卫生组织最近发布的关于医疗保健领域人工智能的关键监管考虑的出版物，可以作为一个良好的起点来解开这些复杂的问题。该出版物讨论的18项监管考虑分为六个广泛类别：文档和透明度、风险管理、预期用途和验证、数据质量、隐私和数据保护、参与和合作。
行业、监管机构、学术界、立法者和患者组织必须共同努力，确保人工智能兑现为一个更好（和更健康）世界的承诺。
(全文结束)
