近期发表在《美国医学会杂志》(JAMA)的一项研究调查了系统性偏差的人工智能(AI)是否影响了临床医生的诊断准确率，以及基于图像的AI模型解释能否减少模型错误。
研究：测量AI在住院患者诊断中的影响：一项随机临床案例调查研究。图片来源：PeopleImages.com - Yuri A / Shutterstock.com
背景
先前的研究已经讨论了人工智能（AI）识别临床图像中异常或疾病的能力。这些研究表明，基于AI的工具可以从眼底图像中检测糖尿病视网膜病变，从胸部X光片中检测肺炎，以及从组织病理学图像中检测皮肤癌。
与没有AI辅助的临床医生诊断相比，在临床决策中整合AI模型可能会产生更准确的诊断结果。然而，使用存在系统性偏差的AI模型（这些模型持续误诊患者）可能会对患者造成潜在伤害。例如，之前的一项研究报道称，一个AI模型对女性心脏病患者的诊断一直不足。
理想情况下，临床医生应当在AI预测正确时遵循其建议，而在预测错误时忽略它。过度依赖存在偏差的AI模型会影响临床医生的诊断。了解AI在支持诊断决策方面的应用是否安全非常重要。
近期，通过纳入AI解释来解读模型预测结果，可以帮助临床医生在考虑将其用于临床决策之前理解模型的逻辑。对AI预测提供适当的解释可以最大限度地减少系统性偏差模型的发展。例如，模型提供的基于图像的解释支持其决策，帮助临床医生评估AI模型的诊断准确性。
关于研究
本研究评估了AI解释是否提高了临床医生的诊断准确率并减少了系统性偏差模型的发展。为此，研究团队进行了一项随机临床案例网络调查。
研究招募了与急性呼吸衰竭患者护理相关的医院医师、医师助理和执业护士。研究团队基于2017年收治的急性呼吸衰竭住院患者创建了总共45个临床案例。
为更好地了解每位患者的既往和当前病史，研究团队评估了他们的医疗记录。至少有四位肺科医生独立审阅了患者的医疗记录。
所有参与者遵循相同的案例顺序，其中两个案例没有AI预测，六个案例有AI预测，一个案例是临床咨询。对于六个AI案例，参与者被随机分配接受带有或不带AI解释的AI预测。
研究发现
在1,024名参与者中，457人完成了至少一个案例并被纳入主要分析；然而，418名参与者完成了全部九个案例。重要的是，参与者的统计特征在随机分组之间没有显著差异。
大多数参与者的专业是医院医学。参与者的平均年龄为34岁，约58%的队列为女性。只有13%的队列积极与临床决策支持工具互动，而大多数参与者不了解AI模型的系统性偏差。
研究结果表明，当AI模型在临床预测中表现准确时，临床医生的诊断准确率提高；而在存在系统性偏差的AI预测时，诊断准确率下降。AI解释并没有显著改善有偏差模型对临床医生诊断准确率的有害影响，估计影响约为81%。因此，AI模型和临床医生的结合可以有效地用于复杂的诊断任务。
解释无法减轻这些错误，因为AI模型完全依赖于与临床状况无关的特征。然而，一些研究表明，最先进的解释可以改善用户与AI的互动。用户被能力不足的AI模型欺骗的可能性更大，这主要是因为许多人无法理解模型的简单解释。
由于AI素养有限，临床医生无法理解并考虑模型的解释。此外，这些模型必须经过训练以提供更好的基于图像的解释。
结论
尽管AI模型的预测和解释提高了诊断准确率，但存在偏差的预测会影响诊断准确率。因此，在将AI模型纳入临床环境之前，验证其准确性至关重要。
期刊参考文献：
- 贾布尔(S. Jabbour)、富希(D. Fouhey)、谢泼德(S. Shepard)等人(2023)《测量AI在住院患者诊断中的影响：一项随机临床案例调查研究》。《美国医学会杂志》(JAMA) 330(23)；2275-2284。doi:10.1001/jama.2023.22295
【全文结束】
