标题：Unified image synthesis framework for predicting cognitive decline progression from mild cognitive impairment to Alzheimer’s disease using incomplete neuroimaging modalities
摘要
准确预测轻度认知障碍（MCI）患者是否会转化为阿尔茨海默病（AD）对早期临床干预和个性化护理计划至关重要。结构性及分子神经影像模态，如T1加权磁共振成像（MRI）和淀粉样正电子发射断层扫描（PET），在此背景下发挥着重要作用，因为它们能捕捉与神经退行性变化相关的不同病理特征。为克服这些局限，我们提出了不完全模态感知生成与集成神经嵌入网络（IMAGINE-Net），专门用于从部分观测的神经影像输入预测MCI向AD的进展路径。该框架包括：（1）一个基于跨模态Transformer的编码器-解码器，用于合成缺失模态并学习上下文表征；（2）一个基于自注意力的融合分类器，用于组合多源影像特征并提高每个MCI向AD转化案例的预测准确性。所提出的IMAGINE-Net模型采用迁移学习方法，首先在来自阿尔茨海默病神经影像倡议（ADNI）的1200名受试者数据集上进行预训练，该数据集包含MRI和PET扫描，包括诊断为MCI以及进展为AD的受试者。用于微调IMAGINE-Net的两个外部数据集是OASIS数据集（仅含94名MCI受试者）和澳大利亚影像、生物标志物与生活方式（AIBL）数据集。这些实证结果证实，IMAGINE-Net在从MR图像预测MCI向AD转化方面优于基线方法，并且在不同中心的不完全模态配置下具有良好的泛化能力。
引言
阿尔茨海默病（AD）是一种进行性恶化的神经退行性疾病，与认知能力（清晰思考能力）的持续衰退以及记忆和思维能力的持续下降有关[1,2]。目前，全球有超过4700万人受AD影响，但这一数字预计将在不久的将来急剧增加。目前尚无根治AD的方法，但早期识别和及时干预有助于延缓疾病进展并改善生活质量和功能[3,4,5]。
轻度认知障碍（MCI）是向AD进展的初始阶段，被识别为正常年龄相关的认知衰退与AD之间的“过渡期”。经历轻度认知障碍的人会出现可测量的认知功能障碍，但独立生活能力得以保留。此外，其中许多人将在未来几年内发展为AD；因此，准确预测个体从MCI到AD的病程有助于诊断、预后和治疗[6]。用于微调IMAGINE-Net的两个外部数据集是OASIS数据集（仅含94名MCI受试者）和澳大利亚影像、生物标志物与生活方式（AIBL）数据集（包含186名MRI受试者）。这些实证结果证实，IMAGINE-Net在从MR图像预测MCI向AD转化方面优于基线方法，并且在不同中心的不完全模态配置下具有良好的泛化能力。
多模态神经影像模态，包括MRI和PET，揭示了与神经退行性变相关的脑萎缩模式和分子病理学的重要线索。T1加权MRI突出显示解剖结构改变，包括皮质厚度减少和海马体积缩小，而淀粉样PET成像则反映β-淀粉样蛋白积聚——AD的病理学标志。当结合使用时，这些模态提供互补和协同信息，提高诊断准确性。然而，在真实临床环境中，完整采集多模态神经影像数据往往不切实际。高昂成本、辐射暴露担忧、后勤挑战以及扫描失败常导致数据集碎片化，尤其是在纵向MCI队列中。
现有的机器学习和深度学习方法通常将缺失模态插补和疾病分类视为独立任务。通常，使用生成模型合成缺失图像[3,7,8]，然后将生成的输出传递给分类网络进行预测[4,9]。解耦架构可能因共享特征空间的非联合优化而导致性能欠佳。此外，一些研究排除了数据缺失或不完整的受试者[6,10]，这限制了样本量并降低了模型的泛化能力。[11]提出了一种两阶段流水线，通过分离图像合成和分类来预测从显著记忆担忧到MCI的进展，但缺乏联合优化导致错误传播。
最近的研究集中于轻量级但计算开销大的注意力机制，用于医学影像中的特征区分和结构保留，包括通道和多维注意力模块。例如，ECA-Net展示了高效纯通道注意力如何以极低的参数开销提高分类和检测性能。其他设计（如[12]）关注计算效率。CHWS-UNet关注通道、高度、宽度和空间维度，以提高医学影像数据分割精度。在神经影像背景下，一项最新的3D-CNN在整体脑MRI数据上实施通道+空间注意力，在阿尔茨海默病检测和分类任务中优于基线普通CNN[13]。此外，对医学影像中基于注意力的深度学习的全面综述表明，这些机制在分类、分割和跨模态任务中的采用呈上升趋势，突显其在临床规模工作流程中的稳健性和实用性[14]。
为克服这些挑战，我们引入了一种创新的深度学习架构——IMAGINE-Net（Incomplete Modality-Aware Generation and Integrated Neural Embedding Network），专门设计用于从不完全的多模态神经影像数据预测MCI向AD的转化。IMAGINE-Net将两个关键组件集成到一个统一流水线中：图1（步骤1）展示了基于Transformer的编码器-解码器架构，用于合成缺失模态（例如从MRI合成PET），同时学习富含上下文的特征嵌入；图1（步骤2）展示了自注意力融合分类器，自适应地整合模态特定表示以提高预测准确性和鲁棒性。
利用迁移学习策略，解决了MCI标记样本数量有限的固有挑战。在此实例中，模型初始使用来自ADNI的大型数据集进行训练，该数据集包含1200名受试者的结构MRI和淀粉样PET图像。随后，使用两个独立且类型多样的数据集对模型进行微调：OASIS（包含94名个体的结构MRI图像）和AIBL（包含186名受试者的结构MRI和不同数量的PET图像）。跨数据集训练提高了整体框架在异质性受试者群体或成像协议下产生更准确结果的能力。
与现有工作（通常通过标准化插补程序消除缺失模态的影响或在每次模型训练开始时合成缺失模态）不同，IMAGINE-Net提供了一个单一解决方案：（i）通过基于Transformer的生成对抗架构动态创建缺失模态图像；（ii）通过使用模态感知自注意力机制融合模态特定特征表示；（iii）通过使用校准感知训练策略实现鲁棒分类性能。
本文做出了若干贡献。
• 首先，我们创建了第一个综合性深度学习模型IMAGINE-Net，用于在不完全的多模态神经影像数据中预测从MCI到AD的认知衰退[15,16]。通过允许数据缺失的受试者参与，该模型比仅使用完整数据集的研究更适用于实际应用。
• 其次，IMAGINE-Net体现了集成深度学习架构，在一个系统中实现图像合成、特征提取和特征融合[11,17]，由于任务间的相互依赖性，提高了学习效率并减少了错误传播，这与将问题分开处理的研究（例如Zhang等人的研究）形成对比。
• 使用迁移学习方法缓解了MCI相关数据集中受试者数量少的问题。模型首先在ADNI数据上训练，然后迁移到独立队列如OASIS和AIBL。由于ADNI没有专门的MCI或早期AD受试者，我们采用标签自适应方法重新分配训练标签。
• 进行了全面的实验评估，以评估IMAGINE-Net在多个任务上的有效性：模拟从MCI到AD的转变、使用MRI数据重建缺失的PET扫描，以及跨数据集的泛化能力。实验结果表明，与当前该研究领域的主流方法相比，其准确性有所提高。
本文结构如下：第2节回顾关于认知衰退预测和多模态学习的现有文献。第3节描述数据、所提出的IMAGINE-Net架构以及数据准备步骤。第4节包含实验结果、不同模型的比较以及跨多个数据集的验证。第5节讨论主要结果，与现有研究进行比较，并指出研究中的空白。最后，第6节给出总体评论并探讨未来可能的研究方向。
（以下为部分小节标题及内容概要，因原文未完全展示，仅提取可见部分）
相关工作
本节全面评估了现有方法，包括MCI进展到后期阶段、多模态神经影像以及迁移学习技术在预测早期AD受试者中的应用。
参与者选择与影像准备
为分析新IMAGINE-Net架构的有效性，采用了三个著名的神经影像数据集：（a）ADNI-1和ADNI-2，（b）OASIS，（c）AIBL研究。这些数据集具有不同的临床队列和成像模态，并遵循不同的纵向研究协议。这种多样性增强了数据集，并使我们能够在可能存在缺失模态的真实临床环境中进一步评估模型的泛化能力和鲁棒性。
实验
本节对所提出的IMAGINE-Net框架进行了全面评估。我们首先评估其预测MCI转化的有效性，然后进行消融分析以了解关键组件的贡献。随后，评估其在AD转化预测中的应用。最后，通过跨数据集神经影像合成实验（在ADNI、OASIS和AIBL数据集上）展示了模型的泛化能力。
讨论
尽管IMAGINE-Net展现了稳固的AUC指标以及良好的灵敏度和F1分数，但在外部OASIS数据集上，其特异性较低（0.635）。这是由稳定MCI受试者被错误分类为进展性MCI导致的假阳性结果，会引起不必要的临床重新分类。然而，由于类别不平衡和队列规模，该特异性可通过调整有所改善。由于不平衡，进展性MCI（pMCI）病例数量远少于稳定MCI。
结论
本文提出了IMAGINE-Net，一种深度学习模型，利用可用的多模态神经影像数据预测轻度认知障碍（MCI）从稳定MCI阶段的进展。IMAGINE-Net通过使用自注意力表征学习模块和图像合成Transformer解决了PET扫描缺失问题，从而在缺乏某些模态时也能做出更可靠的预测。该框架进一步……
（原文末尾部分未完全显示，但已包含主要结论）
CRediT authorship contribution statement
Arshpreet Kaur: Writing – review & editing, Methodology, Data curation. Jagdeep Kaur: Validation, Supervision.
Reproducibility & code availability
源代码发布在链接：Imagine-Net。
Consent to participate
本研究使用了公开可用的汇总级数据集，因此无需额外参与者同意。
Consent for publication
无需单独的出版同意，因为所有参与者均已按照研究方案提供了知情同意。
Funding
无资助。
Declaration of competing interest
作者声明，没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。
Acknowledgments
作者衷心感谢本研究中研究员、朋友和同事的宝贵贡献和支持。
（参考文献列表省略，仅保留引用标记）
【全文结束】