摘要
自适应生成式人工智能正成为提高脑疾病检测的重要方法，它通过模态合成提供创新的脑数据增强方法，并处理不完整和不平衡的数据集。本文提出了一种自适应条件感知生成对抗网络(GAN)，该网络能够通过为阿尔茨海默病(AD)和脑肿瘤创建特定疾病阶段的真实脑部成像模态来生成脑部模态。此外，它能动态学习并捕捉不同模态之间的映射关系，以生成缺失的脑部模态，例如为阿尔茨海默病检测从MRI生成PET图像，为脑肿瘤检测从MRI生成CT图像。另外，我们将这种自适应GAN与一种新的多模态时空Transformer模型相结合，该模型整合了不同的脑部模态，如用于AD检测的MRI和PET，以及用于脑肿瘤检测的CT与MRI，还包括基因和临床数据等其他数据类型。该方法使用卷积神经网络(CNN)并结合创新的压缩-激励(SE)模块进行了增强。所提出的多模态Transformer编码器结合了多头线性自注意力和增强记忆自注意力模块，以处理传统视觉Transformer的二次复杂度问题。设计了多交叉融合模块来提取脑部模态与基因和临床数据之间的交互。我们使用分层5折交叉验证在三个数据集上评估了我们的模型，包括用于阿尔茨海默病检测的阿尔茨海默病神经影像计划(ADNI)数据集，平均准确率达到99.05±0.08；以及两个脑肿瘤数据集，如癌症基因组图谱低级别胶质瘤集合(TCGA-LGG)数据集，我们在Kaggle脑肿瘤数据集上分别获得了98.9±0.12%和97.50±0.15%的准确率。这些结果证明了我们所提出模型在疾病预测和进展追踪方面的有效性，为更先进的脑疾病检测开辟了新途径。
关键词
脑疾病
自适应生成对抗网络
多模态
多模态Transformer
阿尔茨海默病
脑肿瘤
【全文结束】
