如果膝部X光片可以揭示你的饮食偏好，你会作何感想？最近的一项研究展示了人工智能（AI）模型似乎可以通过分析膝部X光片来推断某人是否喝啤酒或避免吃炖豆。
尽管听起来像是未来的技术奇迹，但这项研究最近发表在《自然：科学报告》上，其结果引发了对医疗AI中“捷径学习”弊端的严重关切。
“虽然AI有潜力彻底改变医学影像，但我们必须谨慎，”达特茅斯希区柯克医疗中心（DHMC）的骨科医生彼得·L·席林博士在声明中表示。“这些模型可以看到人类无法看到的模式，但并非所有它们识别的模式都有意义或可靠。认识到这些风险至关重要，以防止误导性的结论并确保科学的完整性。”
在不断扩展的人工智能领域，机器学习算法正在解决越来越复杂的问题。AI正在革新医疗保健，从诊断罕见疾病到个性化治疗。然而，由达特茅斯希区柯克医疗中心和达特茅斯盖塞尔医学院的研究人员领导的一项开创性研究揭示了一个令人不安的现象：AI模型可以从医学影像中检测出看似无关的因素，如饮食习惯。
这种能力虽然引人入胜，但可能是算法“捷径”的迹象，即AI依赖于数据中可检测但不相关的模式。利用广泛的骨关节炎倡议（OAI）数据集，其中包含超过25,000张膝部X光片，研究团队训练了卷积神经网络（CNN）来预测两个看似不可能的结果——某人是否喝啤酒或避免吃炖豆。令人震惊的是，这些模型达到了中等准确性，啤酒消费的曲线下面积（AUC）为0.73，避免吃炖豆的AUC为0.63。
这些结果并不表明饮食偏好在膝部解剖结构中编码了隐藏的真相。相反，它们揭示了AI模型如何利用混淆变量——数据中与预期预测任务关系不大的隐藏相关性。捷径学习发生在AI模型识别出提供快速答案而非有意义见解的模式时。在这项研究中，捷径包括与临床地点、X光机制造商和成像协议相关的细微差异。例如，用于可视化模型决策过程的显著图显示，预测依赖于图像伪影，如左右标记和患者健康指标的黑色部分。
影响深远。虽然CNN可以从医学影像中发现非显而易见的信息，但也可能学习到误导性的相关性，危及临床发现的有效性。这种现象不仅限于饮食预测。先前的研究表明，AI可以从胸部X光和其他医学影像中推断患者的种族、年龄和性别——通常具有惊人的准确性。这些能力突显了AI的双刃剑性质：它能够检测到人类看不见的模式，同时也容易被误解。
例如，该研究发现，训练用于预测饮食偏好的CNN还保留了识别患者人口统计学特征的知识。当重新分配任务时，这些模型可以高精度地预测性别、种族和临床地点，这进一步说明了潜在变量如何扭曲预测。
“这不仅仅是种族或性别线索引起的偏见，”达特茅斯希区柯克医疗中心的机器学习科学家布兰登·G·希尔解释说。“我们发现算法甚至可以学会预测X光片拍摄的年份。”“这是非常有害的；当你阻止它学习这些元素之一时，它会转而学习之前忽略的另一个元素。这种危险可能导致一些非常荒谬的主张，研究人员需要意识到使用这种技术时这种情况是多么容易发生。”
这些发现强调了在医学中解读AI输出时需要谨慎。在急于利用AI的潜力时，研究人员和临床医生必须确保模型不仅仅捕捉表面模式。捷径学习可能导致错误的结论，损害基于AI的诊断和治疗的信任。此外，这项研究挑战了预处理或规范化数据足以缓解偏见的观点。尽管努力标准化图像，模型仍利用潜在变量进行预测。这种偏见的持续存在凸显了全面应对捷径学习的难度。
随着AI在医疗保健中的整合越来越多，了解其局限性至关重要。训练有素的医学影像模型应接受严格的评估，以确保它们学习的是有意义的模式，而不是捷径。应使用显著图等技术来理解模型行为并识别潜在的偏见来源。仅靠准确度指标是不够的。研究人员必须探讨模型的预测是否符合已知的医学原理。此外，监管机构可能需要制定指南，评估医疗保健中的AI模型，重点关注减轻与捷径学习相关的风险。
该研究的作者倡导更大的跨学科合作以应对这些挑战。通过结合数据科学家、临床医生和伦理学家的专业知识，医疗界可以开发出稳健的AI系统，实现其承诺而不牺牲可靠性。这种多学科方法对于应对医学中AI的双刃剑性质至关重要。虽然它能够发现医学影像中以前未见的模式，但当这些模式反映无关、误导或有偏见的相关性时，也带来了风险。
最终，膝部X光片揭示饮食习惯的想法可能会让人觉得有趣，但它也提醒我们AI的局限性。随着研究人员不断突破AI所能达到的边界，必须谨慎行事，避免捷径学习带来的危险，以确保AI驱动洞察的完整性和准确性。
“问题的一部分在于我们自己的偏见，”希尔解释道。“非常容易陷入认为模型‘看到’的方式与我们相同。最终，它并不是这样。”“这几乎就像在处理一种外星智能。你想要说模型是在‘作弊’，但这把技术拟人化了。它找到了一种解决给定任务的方法，但不一定是以人们通常理解的那种逻辑或推理方式。它没有我们通常理解的那种逻辑或推理。”
(全文结束)
