放射学AI产品开始展示出它们可以在医学影像中提高效率和质量的能力。放射学软件供应商正在迅速开发AI工具，政府监管机构也开始批准这些工具用于临床应用。然而，用于监测和评估的放射学AI质量控制“看门狗”工具并没有同样快速地部署。雷姆·盖斯博士（Raym Geis, MD）在2024年医学影像信息学会（SIIM）年度会议的塞缪尔·J·德怀尔三世纪念讲座上告诉与会者，要安全、高效地使用放射学AI工具，需要新的技能和资源。
避免“挑战者号航天飞机时刻”
盖斯博士警告说，随着放射学AI工具的增多并开始自动相互通信，基于它们的互动做出独立决策，这些工具将迅速演变成高度复杂的模型。这将需要复杂的定量监测来防止人类受伤，或如盖斯所称的“挑战者号航天飞机时刻”。如果发生AI工具导致多人受伤的事件，临床医学影像AI将被迫暂停，等待漫长的调查。
盖斯博士的演讲题为“智能医疗影像系统的可靠性工程”，他指出，放射学图像存档和通信系统（PACS）管理员最适合承担这一角色，但需要学习具有挑战性和复杂的新技能。他认为SIIM应该在这一新倡议中发挥领导作用，因为它是率先开发和实施放射学PACS的专业医学协会。作为放射科医生和放射学信息学专家，盖斯博士是丹佛国立犹太健康中心的兼职副教授，也是科罗拉多大学医学院的临床助理教授，他预见了一个SIIM的崭新未来：带领专家们将医学影像AI变成可靠、安全、高效且成本效益高的临床系统。
“PACS管理员已经做了许多AI需要做的事情：安装、监控、管理、维修和回滚。放射学在系统可靠性工程（SRE）方面落后于其他行业，但这对我们有利。我们可以采用其他行业已经开发和使用的方法。”盖斯博士说，“SIIM应该带头教育现有成员关于SRE在我们专门领域的实践和方法，促进和定义我们需要了解的研究，以及定义操作这些AI系统的最佳实践。”
AI工具的不可避免下降
盖斯博士指出，初始的挑战是无法预测哪种最佳的AI工具能在长期内有效。“AI模型的行为由数据决定。如果训练数据发生变化，模型也会变化。准确性将随之改变。目前，PACS管理员不知道哪些数据特征是最关键的。”他解释道，“即使最初完美，你的AI工具的结果也会随着时间恶化。AI工具会悄无声息、缓慢且微妙地失效。”
我们知道，任何AI工具在其训练数据上的表现都优于实际临床应用中的数据。除非模型仅基于您的数据进行训练，即使您从不改变生成数据的方式，结果仍然会更差，盖斯博士说。“AI工具可能在某些检查中表现良好，但并非所有检查。但直到您尝试并评估它之前，您不会知道这一点。即使最初完美，您的AI工具的结果也会随着时间恶化。通常这是因为输入数据发生了变化。您的部门改变了技术和协议。患者群体发生了变化。疾病也发生了变化。购买了一台新的扫描仪，生成的数据略有不同。谁知道还有其他什么变化？您需要通过监控保持警惕。所有这些变化最终都会发生，您的结果将逐渐下降。AI工具会悄无声息、缓慢且微妙地失效。”
更高的风险
盖斯博士指出，如果谷歌使用的AI模型失败，广告商可能会损失金钱。但没有人会因此丧生。但在放射学中，严格的监控是必不可少的。在他的演讲中，盖斯博士描述了评估、采用、监控、重新训练和退役AI模型的步骤。他强调了理解和访问供应商用于训练模型的数据的重要性，以及记录供应商软件模型和测试数据集版本的重要性。他解释了“带状评估监控”的概念，即对特定特征组进行质量控制和性能准确性的评估。一些评估问题包括：供应商声明的准确率是多少？与其他成像地点、不同成像模态的模型/供应商相比如何？不同的放疗师执行检查或放射科医生解读检查的影响是什么？AI工具如何解释非典型检查？
设定标准
盖斯博士敦促SIIM作为一个组织，为医学影像开发模型卡模板。在其他行业中，模型卡包含模型编号、用例、架构、有关训练数据及其评估的信息、使用AI工具时应考虑的伦理问题，以及联系创建者的联系方式。他呼吁SIIM制定供应商AI软件工具模型卡的标准，并成为确定监控所需信息以使AI工具安全可靠的首要决策者，以避免“挑战者号航天飞机”灾难。“监控是昂贵的。但它是必不可少的。PACS管理员需要抓住这一新兴机会，成为高薪的可靠系统工程师。与其他专业组织相比，SIIM处于有利位置，可以开发认证的智能影像信息学专业人员证书。”他总结道：“这是一个非常令人兴奋的时代。SIIM需要抓住这个机会并焕发活力，再次成为AI在放射学领域的领导者和先锋。”
简介： 雷姆·盖斯博士（Raym Geis, MD），放射科医生和影像信息学家，是美国科罗拉多州丹佛市国立犹太健康中心的兼职副教授，也是科罗拉多大学医学院的临床助理教授。他的研究兴趣包括医学影像AI的系统工程，以及放射学数据、标准和新数据科学方法的伦理。盖斯博士曾担任医学影像信息学会的主席，也曾任美国放射学院信息委员会的副主席。
(全文结束)
