达特茅斯健康的研究人员进行了一项新的研究，强调了人工智能在医学影像研究中的潜在风险，显示算法可以被训练得出正确的答案，但这些答案可能基于不合理的理由。这项研究发表在《自然》旗下的《科学报告》上，使用了5,000张人类膝关节的X光片，并结合了患者关于饮食习惯的调查问卷。
研究人员让人工智能软件根据X光片来识别哪些患者更有可能喝啤酒或吃煎豆，尽管在膝关节的X光片中没有任何视觉证据显示这些活动。该研究的合著者、达特茅斯希区柯克的机器学习研究员布兰登·希尔（Brandon Hill）表示：“我们希望它能看到人类会看到的东西，或者如果我们有更好视力的话人类会看到的东西。核心问题是：当它做出这些关联时，我们假设这一定是来自生理学或医学图像中的某些东西。但这并不一定如此。”
尽管机器学习工具确实经常准确地确定了哪些膝盖——实际上是那些接受X光检查的人——更有可能喝啤酒或吃煎豆，但它这样做是通过假设患者的种族、性别以及X光拍摄地点等变量。算法甚至能够确定原始图像由哪种型号的X光扫描机拍摄，从而在扫描位置和某些饮食习惯之间建立联系。最终，AI是通过这些变量来判断谁喝啤酒和吃煎豆的，而不是图像本身与食物或饮料消费相关的任何内容，这种现象研究人员称之为“捷径”。
“部分我们展示的是，这是一个双刃剑。它可以看见人类看不见的东西，”希尔说。“但它也可以看见人类看不见的模式，这可能会让你容易被骗。”
研究作者表示，这篇论文强调了医疗研究人员在部署机器学习工具时应采取的谨慎态度。“如果你有一个AI来检测信用卡交易是否欺诈，为什么它这么认为并不重要。让我们阻止信用卡被收费就行，”骨科医生、该论文的资深作者彼得·席林（Peter Schilling）博士说。但在患者治疗方面，席林建议临床医生保守地使用这些工具，以便“真正优化他们提供的护理”。
(全文结束)
