MRI图像因其复杂性和数据量而著称。因此，开发用于MRI分析的大规模语言模型（LLMs）的开发者不得不将捕捉到的图像切分为2D。但这仅是对原始图像的一种近似，从而限制了模型分析复杂解剖结构的能力。这在涉及脑肿瘤、骨骼疾病或心血管疾病的复杂病例中带来了挑战。
但GE医疗似乎已经克服了这一巨大障碍，在今年的AWS re:Invent上推出了业内首个全身3D MRI研究基础模型（FM）。这是首次模型可以使用整个身体的全3D图像。
GE医疗的FM是在AWS上从零开始构建的——很少有专门为医学影像如MRI设计的模型——并且基于超过173,000张来自19,000多个研究的图像。开发人员表示，他们能够以前所需计算资源的五分之一来训练该模型。
GE医疗尚未将基础模型商业化；它仍处于进化研究阶段。早期评估者Mass General Brigham即将开始进行实验。
“我们的愿景是将这些模型交到在医疗系统中工作的技术团队手中，为他们提供强大的工具，以便更快、更高效地开发研究和临床应用，”GE医疗首席AI官Parry Bhatia在接受VentureBeat采访时表示。
实现实时分析复杂3D MRI数据
虽然这是一个突破性的进展，但生成式AI和LLMs对该公司来说并不是新领域。Bhatia解释说，团队已经与先进技术合作了十多年。
其旗舰产品之一是AIR Recon DL，这是一种基于深度学习的重建算法，使放射科医生能够更快地获得清晰的图像。该算法可以去除原始图像中的噪声并提高信噪比，将扫描时间缩短多达50%。自2020年以来，已有3400万患者接受了AIR Recon DL的扫描。
GE医疗于2024年初开始着手开发其MRI FM。由于该模型是多模态的，它可以支持图像到文本搜索、链接图像和文字，以及分割和分类疾病。Bhatia表示，目标是通过一次扫描为医疗专业人员提供更多细节，从而实现更快、更准确的诊断和治疗。
“该模型具有显著潜力，可以实现实时分析3D MRI数据，从而改善诸如活检、放射治疗和机器人手术等医疗程序，”AWS医疗保健和生命科学总经理Dan Sheeran在接受VentureBeat采访时说道。
该模型已经在前列腺癌和阿尔茨海默病分类等任务中超过了其他公开可用的研究模型。它在图像检索中匹配MRI扫描与文本描述的准确性高达30%——尽管听起来可能不太令人印象深刻，但这比类似模型的3%能力有了显著提升。
“它已经达到了能够提供一些非常稳健结果的阶段，”Bhatia说。“影响是巨大的。”
用更少的数据做更多事情
MRI过程需要几种不同类型的数据集来支持各种映射人体的技术，Bhatia解释道。
例如，称为T1加权成像技术突出脂肪组织并减少水信号，而T2加权成像增强水信号。这两种方法是互补的，可以创建一个完整的脑部图像，帮助临床医生检测肿瘤、创伤或癌症等异常。
“MRI图像有各种不同的形状和大小，就像你可能会有不同的格式和大小的书籍一样，对吧？”Bhatia说。
为了克服由多样数据集带来的挑战，开发人员引入了一种“调整和适应”策略，使模型能够处理和应对不同的变化。此外，某些区域的数据可能缺失——例如，图像可能不完整——因此他们教会模型忽略这些实例。
“我们不是让模型卡住，而是教会模型跳过空白部分，专注于可用的部分，”Bhatia说。“想象一下，这是在解决一个缺少一些拼图块的难题。”
开发人员还采用了半监督的学生-教师学习方法，这在数据有限时特别有用。通过这种方法，两个不同的神经网络会在标记和未标记的数据上进行训练，教师会创建标签以帮助学生学习和预测未来的标签。
“我们现在使用了许多这些自监督技术，它们不需要大量数据或标签来训练大型模型，”Bhatia说。“这减少了依赖性，你可以从这些原始图像中学习更多。”
这有助于确保模型在资源较少、机器较旧和不同种类数据集的医院中也能表现良好，Bhatia解释道。
他还强调了模型多模态的重要性。“过去很多技术都是单模态的，”Bhatia说。“它只会查看图像或文本。但现在它们变得多模态了，可以从图像到文本，从文本到图像，这样就可以将过去用单独模型完成的许多事情真正统一起来。”
他强调，研究人员只使用他们有权使用的数据集；GE医疗有合作伙伴许可去识别的数据集，并且他们严格遵守合规标准和政策。
使用AWS SageMaker应对计算和数据挑战
毫无疑问，构建如此复杂的模型面临许多挑战，例如处理大小为千兆字节的3D图像所需的计算能力有限。
“这是一个巨大的3D数据体，”Bhatia说。“你需要将其带入模型的内存中，这确实是一个复杂的问题。”
为了克服这一点，GE医疗基于Amazon SageMaker构建，SageMaker提供了高速网络和跨多个GPU的分布式训练能力，并利用Nvidia A100和张量核心GPU进行大规模训练。
“由于数据和模型的大小，它们不能发送到单个GPU，”Bhatia解释道。SageMaker允许他们在多个可以相互交互的GPU上定制和扩展操作。
开发人员还使用了Amazon FSx和Amazon S3对象存储，这使得数据集的读写速度更快。
Bhatia指出，另一个挑战是成本优化；通过Amazon的弹性计算云（EC2），开发人员能够将未使用或不经常使用的数据移至较低成本的存储层。
“利用Sagemaker进行这些大型模型的训练——主要是为了在多个高性能GPU集群上进行高效、分布式训练——是真正帮助我们加快速度的关键组件之一，”Bhatia说。
他强调，所有组件都是从数据完整性和合规性的角度构建的，考虑到了HIPAA和其他监管法规和框架。
最终，“这些技术可以真正简化流程，帮助我们更快地创新，同时通过减少行政负担来提高整体运营效率，最终推动更好的患者护理——因为现在你可以提供更加个性化的护理。”
作为其他专门微调模型的基础
虽然目前该模型特定于MRI领域，但研究人员看到了向其他医学领域扩展的巨大机会。
Sheeran指出，历史上，医学影像中的AI受到需要为特定器官的特定条件开发定制模型的限制，每个用于训练的图像都需要专家标注。
但这种方法“本质上是有限的”，因为疾病在个体之间表现方式的不同，引入了泛化挑战。
“我们真正需要的是数千个这样的模型以及在遇到新信息时快速创建新模型的能力，”他说。高质量的标记数据集对于每个模型也是必不可少的。
现在，借助生成式AI，开发人员可以预先训练一个单一的基础模型，该模型可以作为其他专门微调模型的基础。
例如，GE医疗的模型可以扩展到放射治疗领域，放射科医生在此领域花费大量时间手动标记可能处于风险的器官。它还可以帮助减少X光和其他需要患者长时间静坐的程序的扫描时间，Bhatia说。
Sheeran感叹道：“我们不仅通过基于云的工具扩展了医学影像数据的访问，还在改变这些数据的利用方式，以推动医疗保健领域的AI进步。”
(全文结束)
