为了弥合人工智能（AI）创新与医疗安全之间的日益扩大的差距，一组全球研究人员发布了一个全面的框架，旨在指导开发和部署可信赖的AI系统。该研究发表在《AI》期刊上，题为“医疗保健中的人工智能：如何开发和实施安全、伦理且可信赖的AI系统”，提出了一种针对AI系统开发者和实施者的新型双重问卷方法，旨在在美国和欧盟范围内实现监管期望和伦理责任的操作化。
人工智能在医疗保健领域带来的伦理和监管挑战是什么？
研究强调，医疗保健不仅是受监管最严格的行业之一，也是最复杂的行业之一，因为涉及的是人的生命。将AI引入这一环境带来了诸如偏见算法、数据隐私问题、网络安全威胁以及潜在的误诊或患者伤害等风险。责任分配的监管空白、不一致的认证过程以及缺乏全球协调进一步复杂化了安全采用AI的问题。
在欧盟，《人工智能法案》（2024）将AI系统分为不同的风险等级，并要求高风险系统（例如参与医疗决策的系统）进行符合性评估。与此同时，在美国，FDA于2025年1月发布的草案指南概述了AI赋能设备的生命周期管理，但缺乏对生成式AI等自适应黑盒模型的规定。值得注意的是，在美国，软件通常被视为一种“服务”而非产品，因此免除了通常适用于医疗设备的严格责任法。
研究作者认为，尽管当前框架正在不断演变，但仍未能充分解决开发者（上市前阶段）和实施者（上市后部署）的不同责任。他们主张对AI系统进行基于生命周期的评估，涵盖设计、部署、监督和再培训，尤其是在容错率极低的情况下。
医疗保健提供者和开发者如何与伦理AI实践保持一致？
为了支持这两个群体，该研究提出了两份详细的问卷：一份针对开发者（12个领域的56个问题），另一份针对实施者（6个领域的18个问题）。这些工具是通过对医学、机器学习和政策领域的文献回顾和专家咨询得出的。
对于开发者，问卷强调技术文档、人工监督、临床评估、上市后监测以及与数据保护法规（如欧盟的GDPR或美国的HIPAA）的一致性。它还探讨了预测算法漂移、提供可解释的AI输出以及通过严格的模型测试确保患者安全的需求。
实施者，通常是医疗管理人员、临床医生和IT部门，被敦促建立治理结构，验证AI性能与人类决策者的一致性，并集成反馈循环以实现持续改进。研究引用了西雅图UW Medicine作为最佳实践示例，那里有一个生成式AI工作组和结构化的试点审查流程来管理AI工具的采用。
问责制仍然是一个反复出现的主题。研究人员强调了“人在环中”模式的必要性，以保留临床医生对决策的责任，同时需要明确的审计跟踪和风险评估。他们还建议，就像医生需要持续认证一样，特别是那些能够进行半自主决策的AI代理，也应接受能力检查和重新认证机制。
为了使AI真正安全地改变医疗保健，需要哪些改变？
研究人员呼吁美国和欧盟之间进行监管协调，强调现行法律仍不足以处理自主或生成式AI系统的复杂性。责任归属仍然模糊，特别是在医生遵循AI指导导致不良结果的情况下。虽然一些法律学者建议赋予AI法人资格或创建保险支持的责任池，但其他人则提议由开发者和提供者共同承担责任。
认证机构也尚未跟上步伐。研究发现，无论是在美国还是欧盟，医院中都没有既定的AI特定认证流程。虽然机构越来越多地将AI纳入更广泛的质量控制任务中，但没有标准化的方法来评估AI工具的偏见、透明度或可解释性。这一缺口对患者安全和机构问责构成了重大风险。
此外，论文强调了提高医疗专业人员和患者对AI的认识的必要性。关于AI在医疗决策中的角色的透明度对于维护信任至关重要。医院被鼓励提供强制性的员工培训和公开可访问的文档，说明AI工具是如何部署和监控的。
展望未来，作者提出了一系列研究重点，以完善这些框架：纵向研究AI模型漂移、实证验证提出的问卷、比较分析治理模型以及超出欧盟和美国的全球研究。他们还倡导制定正式的AI代理认证标准，并将伦理培训嵌入AI开发流程中。
(全文结束)
