一种由斯坦福医学院开发的新的人工智能工具结合了医学影像与文本数据，用于预测癌症预后和治疗反应。
2025年1月8日，由Krista Conger报道，斯坦福医学院的研究人员开发了一种能够准确预测癌症患者预后的人工智能模型。这种将视觉信息（如显微镜和X光图像、CT和MRI扫描）与文本（如检查记录、不同专科医生之间的沟通）相结合的方法是癌症护理的关键组成部分。虽然人工智能帮助医生审查图像并聚焦于疾病相关的异常现象，如形状异常的细胞，但开发能够整合多种类型数据的计算机化模型一直是一个难题。
现在，斯坦福医学院的研究人员开发了一种可以整合视觉和基于语言的信息的AI模型。经过5000万张标准病理切片图像和超过10亿条病理相关文本的训练，该模型在预测数千名患有不同类型癌症患者的预后方面优于传统方法，能够识别哪些肺癌或胃食管癌患者可能从免疫疗法中受益，并确定最有可能复发黑色素瘤的患者。
研究人员将该模型命名为MUSK，代表多模态变换器与统一掩码建模。MUSK与目前临床环境中使用的人工智能方式有显著不同，研究人员认为它有望改变人工智能如何指导患者护理的方式。
“MUSK可以准确预测许多不同种类和阶段癌症患者的情况，”放射肿瘤学副教授李睿江博士表示，“我们设计MUSK是因为在临床实践中，医生从不依赖单一类型的数据来做临床决策。我们希望利用多种类型的数据获得更多的见解，并对患者的预后做出更精确的预测。”
李睿江博士是斯坦福癌症研究所成员，也是该研究的资深作者，该研究于1月8日发表在《自然》杂志上。博士后学者向锦曦和王希跃是该研究的主要作者。
尽管人工智能工具在临床上的应用越来越多，但它们主要用于诊断（这张显微镜图像或扫描是否显示癌症迹象？），而不是用于预后（这个人的可能临床结果是什么，哪种疗法对个体最有效？）。部分挑战在于需要大量标注数据（例如，这是一张带有癌性肿瘤的肺组织切片显微镜图像）和配对数据（这是关于肿瘤来源患者的临床记录）来训练模型。然而，精心策划和注释的数据集很难获得。
在人工智能术语中，MUSK被称为基础模型。基础模型经过大量数据预训练后，可以通过额外训练定制执行特定任务。由于研究人员设计MUSK使用未配对的多模态数据，不符合传统人工智能训练要求，因此计算机在初始训练期间使用的数据量扩大了几个数量级。有了这个起点，任何后续训练都可以通过更小、更专业化的数据集完成。实际上，MUSK是一种现成的工具，医生可以对其进行微调以帮助回答具体的临床问题。
“最大的未满足临床需求是对医生可以用来指导患者治疗的模型，”李睿江博士说，“这个患者需要这种药物吗？还是我们应该专注于另一种类型的治疗？目前，医生使用疾病分期和特定基因或蛋白质等信息来做这些决定，但这并不总是准确的。”
研究人员收集了来自国家数据库——癌症基因组图谱的16种主要癌症（包括乳腺癌、肺癌、结直肠癌、胰腺癌、肾癌、膀胱癌、头颈部癌症）患者的组织切片显微镜图像、相关病理报告和随访数据（包括患者情况）。他们利用这些信息训练MUSK预测特定疾病的生存率，即在特定时间段内未因该病死亡的人口百分比。
对于所有癌症类型，MUSK准确预测患者特定疾病生存率的概率为75%。相比之下，基于患者癌症分期和其他临床风险因素的标准预测方法正确率为64%。
在另一个例子中，研究人员训练MUSK使用数千个信息点预测哪些肺癌或胃食管癌患者最有可能从免疫疗法中受益。
“目前，决定是否给患者某种免疫疗法的主要依据是肿瘤是否表达一种叫做PD-L1的蛋白质，”李睿江博士说，“这是一种由单个蛋白质组成的生物标志物。相比之下，如果我们能用人工智能评估数百或数千个多种类型的数据，包括组织成像，以及从临床记录中收集的患者人口统计、病史、既往治疗和实验室测试，我们可以更准确地确定谁可能会从中受益。”
对于非小细胞肺癌，MUSK正确识别出从免疫疗法中受益的患者概率约为77%。相比之下，基于PD-L1表达的传统方法正确率为61%。
当研究人员训练MUSK识别最有可能在初次治疗后五年内复发的黑色素瘤患者时，也获得了类似的结果。在这种情况下，模型正确率约为83%，比其他基础模型生成的预测高约12%。
“MUSK的独特之处在于能够在预训练中整合未配对的多模态数据，这大大增加了与其他模型所需的配对数据相比的数据规模，”李睿江博士说，“我们观察到，在所有临床预测任务中，整合多种类型数据的模型始终优于仅基于影像或文本数据的模型。利用这些类型的未配对多模态数据与像MUSK这样的人工智能模型将极大地提高人工智能辅助医生改善患者护理的能力。”
哈佛医学院的研究人员也参与了这项工作。该研究由美国国立卫生研究院资助（资助编号R01CA222512、R01CA233578、R01CA269599、R01CA285456、R01CA290715和R01DE030894），以及斯坦福以人为中心的人工智能研究所资助。
(全文结束)
