医疗行业是高度监管的领域，但AI应用正成为监管“灰区”。德汇律师事务所AI与数据实践全球联席主管丹尼·托比博士指出，医疗AI既能为系统创造价值，也可能因算法缺陷引发法律纠纷。该律所作为全球首个设立正式AI实践组的律所，曾成功辩护首例生成式AI“幻觉”案件及保险领域的“黑箱”算法歧视集体诉讼。
“医疗AI的法律风险确需重视，但拒绝采用更是重大失误。”托比在接受《新闻周刊》专访时表示。他特别强调，医疗机构在部署AI工具时需注意：
- 风险平衡：生成式AI的创造性与不确定性并存，其概率性运算机制难以完全验证安全性与一致性，需建立四大防护机制——可靠数据源、实时信息更新、临床决策禁区限制和用户教育。
- 合规治理：无论是采购商业软件还是自主研发，关键在于建立治理框架。某三甲医院采购的AI分诊系统因未适配本地医疗规范导致误诊纠纷的案例显示，缺乏环境适配的现成解决方案可能比自主研发风险更高。
- 成本认知：开源模型虽降低技术应用门槛，但治理成本常被低估。某制药公司曾投入200万美元开发AI药物筛选工具，却因未预留同等规模的合规预算，导致在FDA审查中陷入被动。
- 治理支柱：完善的治理框架应包含董事会级战略支持、专项预算保障、跨职能协作机制和贯穿开发周期的持续测试。某医疗集团因未将AI测试纳入系统更新流程，导致百万患者分诊算法出现种族偏见，最终赔付1.2亿美元。
托比特别警示，医疗AI的“黑箱”特性可能在未察觉时影响数亿人群。他以某州医保AI审核系统为例，该系统运行18个月后才被发现对罕见病患者存在系统性拒付，暴露出现有监管工具的滞后性。建议医疗机构将安全测试前移，在AI设计阶段就嵌入可解释性模块，而非事后补救。
【全文结束】
