AI在医学领域的应用前景广阔。正如我在我的书《掌握AI：我们的超级未来生存指南》中所写，这是我对技术可能带来的影响最乐观的领域之一。然而，要实现这些好处，我们应谨慎设计AI医疗软件、使用方式及监管方法。
不是我们需要的（坏）AI医疗
所有AI应用的风险都源于不良或有偏见的数据。医学研究历来在女性和有色人种的代表性不足。用这种数据训练AI可能导致模型对这些患者的效果不佳。计算机视觉系统分析医学影像时，很容易出现“过拟合”——即在特定测试数据集上表现良好，但其方式在临床上无关紧要，无法在现实世界中发挥作用。一个著名的例子是，一个用于识别胸片中严重肺炎病例的AI模型，学会了特别关注胸片边缘的字母，这些字母指示图像是由便携式胸片机还是标准胸片机拍摄的。便携式胸片机通常用于病情最严重的患者。因此，AI学会了“P”（便携式）字母的存在是严重肺炎病例的最佳预测指标，而不是学习患者肺部的外观。在没有此类标记的图像上，AI毫无用处。
准确率高的头条数字也可能具有误导性。一个能正确识别95%胸部X光病理的AI听起来不错——除非它经常漏掉一种特别侵袭性的肺癌。太多的假阳性也很重要。最好的情况下，它们会令医生厌烦，使他们不太愿意使用该软件；最坏的情况下，它们可能导致错误诊断。
幸运的是，你可能会认为，我们有医疗监管机构来保护我们免受这些风险，同时确保重要的医疗AI创新迅速惠及患者。你错了。我们目前的监管程序并不适合AI。
缺乏临床验证
在美国，食品药品监督管理局（FDA）已批准近1000种AI医疗设备（包括软件和具有AI功能的硬件）。其中绝大多数（97%）是通过510(k)流程批准的，该流程允许更快的审批，前提是软件供应商证明其产品与先前批准的设备“基本等效”。但AI的最新技术变化迅速，很难说新AI模型的性能与旧软件相当。更重要的是，供应商被允许在历史数据上测试他们的AI软件，而无需证明其在真实世界临床环境中改善患者结果。最近发表在《自然医学》杂志上的一项研究发现，43%的FDA批准的AI医疗设备缺乏任何临床验证数据。在研究人员审查的521个AI设备中，只有22个提交了来自随机对照试验的结果，这是验证疗法的黄金标准。
FDA的规则是为硬件设计的，硬件通常很少升级。它从未预见到敏捷软件开发的世界，每周都有应用程序更新。FDA引入了“预定变更控制计划”（PCCP），允许定期进行小规模软件更新，但这仍不能完全满足AI模型的需求，有些模型可以持续学习。
英国一家初创公司认为有更好的方法
在英国和欧洲，情况更加灵活，但仍存在问题。在这里，政府医疗监管机构将医疗设备的授权外包给指定的私人公司，称为“公告机构”。我最近与一家名为Scarlet的初创公司进行了交流，该公司是英国和欧盟的公告机构，专门从事AI医疗软件。它正在创建一个技术平台，使AI供应商更容易提交市场授权申请进行审查。
Scarlet的联合创始人兼首席执行官詹姆斯·杜瓦尔告诉我，公司的技术有助于标准化提交文件，并自动检查供应商的申请是否完整，节省了几天到几周的时间。最重要的是，软件开发者可以频繁提交软件更新，并在几天内获得这些更新的批准，而不是过去可能需要的六到八个月。
杜瓦尔和他的联合创始人杰米·考克斯此前曾在英国健康科技公司Babylon Health（后来被eMed Healthcare收购）工作，从事医疗AI模型的开发。但Scarlet的平台目前不使用AI——至少暂时如此，尽管杜瓦尔表示公司正在考虑如何利用大型语言模型。人类专家审查每个申请的实质内容，这一点不太可能改变。
消费者需谨慎
更令人担忧的是，杜瓦尔告诉我，公告机构没有明确要求审查产品在患者亚组或疾病亚型上的表现，也没有说明如何处理AI概念如偏见和模型漂移。例如，供应商不必提交混淆矩阵，这是一个显示不同患者群体在假阳性和假阴性率等指标上表现差异的表格，尽管Scarlet目前要求供应商提交这些指标。“消费者需谨慎”，杜瓦尔谈到AI医疗设备时说，“目前，法规并没有要求我们对偏见采取任何行动。我们欢迎这些变化，但这并不是当前法规的规定。”他还表示，在增加临床效果要求与“将创新推向市场”的需求之间需要找到平衡。
成为欧盟AI法案的典范？
Scarlet刚刚从伦敦风险投资公司Atomico获得了1750万美元的A轮融资，前投资者Kindred Capital、Creandum和EF（Entrepreneur First）也参与了此次投资。该公司希望扩展到美国，FDA使用经过认证的私营组织进行510(k)申请的初步审查——尽管与欧洲不同，这些私营公司在美国没有最终决定权。
杜瓦尔表示，Scarlet也在考虑扩展到医疗以外的高风险领域的人工智能软件认证。根据欧盟AI法案，任何在高风险领域（如控制电力或水供应，或评估大学入学考试）部署AI软件的公司，都必须由外部机构验证其风险评估和缓解过程。一个大问题是：哪些组织将具备进行这些检查的专业知识？好吧，Scarlet可能是其中之一。
(全文结束)
