当人工智能(AI)在X光片上指出特定的兴趣区域时,放射科医生和其他医师在做出诊断决策时可能会过度依赖AI,根据今天发表在北美放射学会(RSNA)期刊《Radiology》上的一项研究显示。
“截至2022年,已有190个放射学AI软件程序获得了美国食品药品监督管理局(FDA)的批准,”该研究的高级作者之一、田纳西州孟菲斯市圣犹大儿童研究医院放射科智能成像信息学主任兼副教授Paul H. Yi博士表示。“然而,在AI概念验证与其实际临床应用之间出现了差距。为了弥合这一差距,培养对AI建议的适当信任至关重要。”
在这项多中心、前瞻性研究中,220名放射科医生和内科/急诊医学医生(其中132名为放射科医生)在AI建议的辅助下阅读胸部X光片。每位医生的任务是评估八个胸部X光病例,同时参考一个性能与领域专家相当的模拟AI助手的建议。这些临床案例提供了来自波士顿贝斯以色列女执事医疗中心的正面和侧面胸部X光图像,图像来自开源MIMI胸部X光数据库。一组放射科医生选择了这些案例,以模拟现实世界的临床实践。
对于每个病例,参与者会看到患者的临床病史、AI建议和X光图像。AI提供的诊断可能是正确的或错误的,并附有局部或全局解释。在局部解释中,AI会突出显示图像中最重要的部分。而在全局解释中,AI会提供类似的历史病例图像,以展示其诊断过程。
“这些局部解释直接引导医生实时关注关心的区域。在我们的研究中,AI实际上用框圈出了肺炎或其他异常的区域,”圣犹大儿童研究医院放射科智能成像信息学主任兼副教授Paul H. Yi博士说。
评审者可以选择接受、修改或拒绝AI建议。他们还被要求报告对结果和印象的信心水平,并对AI建议的有用性进行排名。
通过混合效应模型,研究的共同第一作者Drew Prinster硕士和Amama Mahmood硕士(均为约翰霍普金斯大学计算机科学博士生)领导研究人员分析了实验变量对诊断准确性、效率、医生对AI有用性的感知以及“简单信任”(用户同意或不同意AI建议的速度)的影响。研究人员控制了用户人口统计特征和专业经验等因素。
结果显示,当AI提供局部解释时,评审者更有可能将其诊断决策与AI建议对齐,并且考虑时间较短。
“与全局AI解释相比,当AI建议正确时,局部解释提高了医生的诊断准确性,”Yi博士说。“它们还通过减少考虑AI建议的时间总体提高了诊断效率。”
当AI建议正确时,评审者的平均诊断准确率为局部解释92.8%,全局解释85.3%。当AI建议错误时,医生的准确率为局部解释23.6%,全局解释26.1%。
“无论AI建议的准确性如何,研究中的放射科医生和非放射科医生在获得局部解释时都倾向于更快地信任AI诊断,”Yi博士说。
研究的共同高级作者、约翰霍普金斯大学计算机科学系John C. Malone助理教授Chien-Ming Huang博士指出,这种对AI的信任可能是一把双刃剑,因为它存在过度依赖或自动化偏差的风险。
“当我们过于依赖计算机告诉我们的信息时,这就会成为一个问题,因为AI并不总是正确的,”Yi博士说。“我认为作为使用AI的放射科医生,我们需要意识到这些陷阱,并保持对我们诊断模式和培训的警觉。”
基于这项研究,Yi博士表示,AI系统开发者应仔细考虑不同形式的AI解释可能如何影响对AI建议的依赖。
“我真的认为行业与医疗保健研究人员之间的合作是关键,”他说。“我希望这篇论文能开启对话并促进未来的研究合作。”
“您愿意解释吗?不同类型的AI解释对胸部X光诊断表现和医生对AI的信任有不同的影响。”与Yi博士、Huang博士、Prinster和Mahmood合作的还有Suchi Saria博士、Jean Jeudy博士和Cheng Ting Lin博士。
来源:北美放射学会
期刊参考:Prinster, D., et al. (2024) Care to Explain? AI Explanation Types Differentially Impact Chest Radiograph Diagnostic Performance and Physician Trust in AI . _Radiology _.__doi.org/10.1148/radiol.233261.
(全文结束)


