医学影像中的模糊性对试图识别疾病的临床医生来说是一个重大挑战。例如，在胸部X光片中，胸腔积液（肺部异常积液）看起来非常像肺浸润（脓液或血液的积聚）。
一个人工智能模型可以通过帮助识别细微细节并提高诊断过程的效率来辅助临床医生进行X光片分析。但由于一张图像中可能存在的多种条件，临床医生可能希望考虑一组可能性，而不仅仅依赖一个AI预测。
一种有前途的方法是共形分类，它方便地可以在现有的机器学习模型上直接实现。然而，这种方法可能会产生过大的预测集。
麻省理工学院的研究人员现在开发了一种简单而有效的改进方法，可以将预测集的大小减少多达30%，同时使预测更加可靠。
较小的预测集可以帮助临床医生更高效地确定正确的诊断，这可能改善和简化患者的治疗。这种方法在各种分类任务中都可能有用，比如在野生动物公园的图像中识别动物种类，因为它提供了一个更小但更准确的选择集。
“由于需要考虑的类别较少，预测集自然更具信息量，因为你是在较少的选择之间做出选择。从某种意义上说，你并没有为了获得更有信息量的结果而在准确性方面做出牺牲。”麻省理工学院前研究生、现任康奈尔科技学院博士后研究员Divya Shanmugam说。
Shanmugam与Helen Lu '24、前麻省理工学院博士后现Lilia Biosciences研究科学家Swami Sankaranarayanan以及高级作者、麻省理工学院计算机科学与人工智能实验室成员、Dugald C. Jackson电气工程与计算机科学教授John Guttag共同撰写了这篇论文。该研究将在6月的计算机视觉和模式识别会议上发表。
预测保证
部署用于高风险任务（如医学图像分类）的人工智能助手通常被设计为在每个预测中生成一个概率分数，以便用户能够评估模型的信心。例如，模型可能会预测某张图像对应特定诊断（如胸膜炎）的概率为20%。
但是，很难信任模型的预测信心，因为许多先前的研究表明这些概率可能是不准确的。通过共形分类，模型的预测被一组最可能的诊断所取代，并且保证正确的诊断就在这一组中。
但人工智能预测的固有不确定性往往导致模型输出过大的预测集，使其变得不实用。
例如，如果一个模型正在将图像中的动物分类为10,000个潜在物种之一，它可能会输出一个包含200个预测的集合以提供强有力的保证。
“对于某人来说，筛选这么多类别来找出正确的类别是非常多的。”Shanmugam说。
这种技术也可能不可靠，因为输入的微小变化（如稍微旋转图像）可能会产生完全不同的预测集。
为了使共形分类更有用，研究人员应用了一种旨在提高计算机视觉模型准确性的技术，称为测试时数据增强（TTA）。
TTA会创建数据集中单个图像的多个增强版本，可能通过对图像进行裁剪、翻转、缩放等操作。然后，它将计算机视觉模型应用于同一图像的每个版本，并汇总其预测。
“通过这种方式，你可以从单个示例中获得多个预测。这样汇总预测可以提高预测的准确性和鲁棒性。”Shanmugam解释道。
最大化准确性
为了应用TTA，研究人员保留了一些用于共形分类过程的标记图像数据。他们学习如何在这些保留的数据上聚合增强，自动以最大化基础模型预测准确性的方法增强图像。
然后，他们在模型的新TTA转换后的预测上运行共形分类。共形分类器输出一个较小的可能性预测集，同时保持相同的置信度保证。
“将测试时数据增强与共形预测相结合不仅易于实现，而且在实践中效果显著，无需重新训练模型。”Shanmugam说。
与之前在几个标准图像分类基准上的共形预测工作相比，他们的TTA增强方法在所有实验中将预测集的大小减少了10%到30%。
重要的是，这种技术在减少预测集大小的同时保持了概率保证。
研究人员还发现，尽管他们在共形分类过程中牺牲了一些标记数据，但TTA提高了准确性，足以抵消丢失这些数据的成本。
“这引发了关于如何在模型训练后使用标记数据的问题。标记数据在不同后训练步骤之间的分配是我们未来工作的重点方向。”Shanmugam说。
未来，研究人员希望验证这种方法在文本分类模型中的有效性。为了进一步改进这项工作，研究人员还在考虑减少TTA所需计算量的方法。
这项研究部分由Wistrom Corporation资助。
(全文结束)
