在医学图像中标注感兴趣区域（这一过程称为分割）通常是临床研究人员在开展涉及生物医学图像的新研究时的首要步骤之一。
例如，要确定患者年龄增长时大脑海马体大小的变化情况，科学家首先需要在一系列脑部扫描图像中勾勒出每个海马体的轮廓。对于许多结构和图像类型，这通常是一个极其耗时的手动过程，特别是当所研究的区域难以界定时。
为了简化这一过程，麻省理工学院研究人员开发了一种基于人工智能的系统，使研究人员能够通过在图像上点击、涂鸦和绘制方框，快速分割新的生物医学图像数据集。这个新的人工智能模型利用这些交互来预测分割结果。
随着用户标记更多图像，他们需要执行的交互次数逐渐减少，最终降至零。此后，该模型便能准确地对每张新图像进行分割，而无需用户输入。
这得以实现是因为该模型的架构经过特别设计，能够利用它已分割的图像信息来做出新的预测。
与其他医学图像分割模型不同，此系统允许用户分割整个数据集，而无需为每张图像重复工作。
此外，这种交互式工具不需要预先分割的图像数据集进行训练，因此用户不需要机器学习专业知识或大量计算资源。他们可以在不重新训练模型的情况下，将该系统用于新的分割任务。
从长远来看，此工具可能加速新治疗方法的研究，并降低临床试验和医学研究的成本。医生也可以使用它来提高临床应用的效率，例如放射治疗规划。
"许多科学家在研究中每天可能只来得及分割几张图像，因为手动图像分割非常耗时。我们希望这个系统能够通过允许临床研究人员开展以前因缺乏高效工具而无法进行的研究，从而推动新的科学发现。"
Hallee Wong，电气工程和计算机科学研究生，新工具论文的主要作者
与她共同撰写该论文的还有Jose Javier Gonzalez Ortiz博士'24；John Guttag，Dugald C. Jackson计算机科学和电气工程教授；以及资深作者Adrian Dalca，哈佛医学院和麻省总医院的助理教授，以及麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究科学家。该研究将在国际计算机视觉会议上展示。
简化分割流程
研究人员主要使用两种方法来分割新的医学图像集。在交互式分割中，他们将图像输入人工智能系统，并使用界面标记感兴趣区域。模型根据这些交互预测分割结果。
麻省理工学院研究人员先前开发的一种工具ScribblePrompt允许用户这样做，但他们必须为每张新图像重复这一过程。
另一种方法是开发特定任务的人工智能模型来自动分割图像。这种方法要求用户手动分割数百张图像以创建数据集，然后训练机器学习模型。该模型预测新图像的分割结果。但用户必须为每个新任务从头开始复杂的基于机器学习的过程，并且如果模型出错，无法进行修正。
这个新系统MultiverSeg结合了两种方法的优点。它根据用户交互（如涂鸦）预测新图像的分割，同时还将在上下文集中保存每个已分割的图像，以便后续参考。
当用户上传新图像并标记感兴趣区域时，模型会参考其上下文集中的示例，以更少的用户输入做出更准确的预测。
研究人员设计了模型的架构，使其能够使用任意大小的上下文集，因此用户不需要有一定数量的图像。这使得MultiverSeg具有灵活性，可用于各种应用。
"Wong表示："在某些任务中，最终你不需要提供任何交互。如果你在上下文集中有足够的示例，模型就能自行准确预测分割结果。"
研究人员在多样化的生物医学图像数据集上精心设计和训练了该模型，以确保它能够根据用户输入逐步改进其预测。
用户无需为他们的数据重新训练或定制模型。要将MultiverSeg用于新任务，只需上传新的医学图像并开始标记即可。
当研究人员将MultiverSeg与最先进的上下文内和交互式图像分割工具进行比较时，它在各项基准测试中均优于其他工具。
点击次数减少，结果更佳
与其他工具不同，MultiverSeg对每张图像所需的用户输入更少。到第九张新图像时，它仅需用户两次点击就能生成比专为该任务设计的模型更准确的分割。
对于某些图像类型，如X光片，用户可能只需手动分割一两张图像，模型就能达到足够准确的程度，从而自行进行预测。
该工具的交互性还使用户能够对模型的预测进行修正，迭代直到达到所需的准确度水平。与研究人员之前的系统相比，MultiverSeg只需约2/3的涂鸦次数和3/4的点击次数就能达到90%的准确率。
Wong表示："使用MultiverSeg，用户总能提供更多的交互来改进AI预测。这仍然能极大地加速这一过程，因为修正已有的内容通常比从头开始更快。"
未来，研究人员希望与临床合作伙伴在现实环境中测试此工具，并根据用户反馈进行改进。他们还希望使MultiverSeg能够分割3D生物医学图像。
这项工作部分得到了Quanta Computer, Inc.和美国国立卫生研究院的支持，硬件支持来自马萨诸塞生命科学中心。
【全文结束】
