由Sheng Wang及其同事开发的新AI模型BiomedParse通过分析各种医学影像并允许用自然语言进行交互，展示了在改善医疗诊断方面的巨大潜力。
人工智能在读取医学影像方面取得了快速进展。英国国家卫生服务局最近的一项测试中，一种AI工具分析了超过1万名女性的乳腺X光片，正确识别了哪些患者患有癌症，包括医生漏诊的11个病例。然而，像狼疮和糖尿病这样的系统性疾病对这些系统构成了更大的挑战，因为诊断它们通常需要分析从MRI到CT扫描的各种类型的医学影像。
现在，一个科学家团队开发了BiomedParse，这是一种能够在九种不同类型医学影像上工作的AI医学影像分析模型，以更好地预测系统性疾病。医疗专业人员可以将影像加载到系统中，并用自然语言向AI系统提问。
该团队由华盛顿大学保罗·G·艾伦计算机科学与工程学院助理教授Sheng Wang以及微软研究院和Providence基因组学的研究人员组成，于11月18日在《自然方法》杂志上发表了他们的研究成果。
BiomedParse是一种能够在九种不同类型医学影像上工作的AI医学影像分析模型，医疗专业人员可以将影像加载到系统中，并用自然语言向AI工具提问。例如，用户可以询问病理切片的具体细节。图片来源：Zhao等。
华盛顿大学新闻办公室采访了Wang，讨论了这一工具以及AI在医疗保健领域的伦理和前景。
你们实验室研究什么？
Sheng Wang：我们专注于多模态生成AI，这意味着我们致力于处理多种医学影像。以前的研究一次只考虑一种影像，例如癌症研究中的病理影像。我们的新方法是同时考虑所有类型的影像，以预测系统性疾病。像糖尿病这样的疾病可能出现在身体的各个部位，如眼睛、牙齿、肾脏等。如果你只有一个能查看眼部影像的模型，它可能会错过关于系统性疾病的信息。
你们刚刚与微软和Providence基因组学的研究人员共同发表了一篇论文，可以处理九种不同类型的医学影像并实现文本和影像之间的转换。OpenAI等公司和Allen人工智能研究所最近发布了可以在文本和影像之间转换的AI模型。医学影像是如何不同的？
SW：当ChatGPT或Google的Gemini模型处理一张猫的图片时，这张图片非常小，比如说256像素宽。但医学影像要大得多，可能有10万像素宽。如果打印这两张图片，大小差异就像网球和网球场一样。因此，同样的方法不能应用于医学影像。
但ChatGPT非常擅长理解和总结长文档。所以我们在这里使用相同的技术来总结非常大的病理影像。我们将它们分解成许多256x256的小图像。这些小图像形成了一组“句子”，但基本元素不是单词或字符，而是一张小图像。然后生成式AI可以非常准确地总结这组小图像。今年5月，我们宣布了GigaPath模型，该模型使用这种方法处理病理影像。
在我们的最新论文中，我们将工具结合起来构建了BiomedParse，该模型涵盖了九种模态，使我们能够整合涵盖CT扫描、MRI、X射线等的模型。
我们发现很难构建一个能够考虑所有模态的单一模型，因为人们可能不愿意分享所有这些数据。因此，我们为每种影像类型构建了一个模型。有些是由我们自己开发的，有些是由哈佛和微软的其他专家开发的，然后我们将它们投影到一个共享空间。
我们受到世界语的启发，这是一种为了使来自不同国家的人们能够交流而创造的人工语言，类似于英语在整个欧洲的功能。我们的BiomedParse论文的关键思想是使用人类语言作为不同医学影像模态的“世界语”。CT扫描和MRI非常不同，但每张医学影像都有临床报告。因此，我们将一切都投影到文本空间。然后，两张影像之所以相似，不是因为它们都是CT扫描，而是因为它们描述的是类似的患者。
这个工具的潜在应用是什么？它是否能让全科医生更好地理解各种影像类型？
SW：是的，它有点像医学影像的搜索引擎。它使非专业人员能够与模型讨论需要领域专业知识的非常专业的医学影像。这可以使医生更好地理解影像，因为例如，解读病理影像通常需要很高的专业知识。
即使是经验丰富的医生也可以使用我们的模型更快地分析影像并发现细微的变化。例如，他们不需要逐像素查看每张影像。我们的模型可以首先给出一些结果，然后医生可以专注于那些重要区域。这可以提高他们的工作效率，因为我们提供的结果非常一致——与专家人工标注相比，准确率超过90%，仅需0.2秒。由于这是一个检测生物医学对象位置并计数细胞数量的工具，90%的准确率通常是可以接受的，以便正确检测对象并预测下游疾病。但医生的指导仍然是必要的，以确保这些AI工具被正确使用。这是增强他们的技能，而不是取代他们。
这个工具会提供给医生吗？
SW：我们已经发布了一个演示版。接下来，我们希望与华盛顿大学医学部合作进一步开发该模型，然后在获得患者同意的情况下，在华盛顿大学医学系统中部署。这是一个涉及整个华盛顿大学的大项目。我们收集了涵盖人体不同部位、不同模态和不同疾病的大量数据。因此，我们希望推进系统性疾病检测的发展。
显然，生成式AI系统存在各种问题。文本模型会产生幻觉，返回错误答案和编造事实。图像生成器会扭曲事物。将这些数据应用于如此敏感的医学影像是否存在担忧？
SW：我们实际上有一篇正在提交的论文，专门针对医学生成式AI的伦理问题。一个问题就是幻觉。例如，你可以给某些AI模型一张胸部CT影像，问它牙齿有什么问题。这个问题毫无意义，因为CT扫描无法显示牙齿问题，但现有的某些AI模型会回答这个问题，显然是错误的答案。
另一个问题是伦理。我们可以给生成式AI一张牙科影像，问“这个患者的性别和年龄是什么？”这是私人信息。或者你可以要求它重建患者的面部。因此，我们正在努力检测这些不道德的问题，并确保模型拒绝回答。
是什么让你对将生成式AI应用于医学感兴趣？
SW：我以前从事药物发现和基因组学研究，但发现这是一个相当有限的领域，因为开发一种药物可能需要5到10年的时间，最耗时的部分是测试药物——动物试验、人体试验等。我转向医学是因为我认为AI在分析影像数据和影像与文本结合方面非常强大。
我还从事药物再利用研究。这意味着，例如，用于治疗视网膜疾病的药物可能未被设计用于其他目的，但也可能治疗心力衰竭。因此，如果这种药物已经在用于治疗视网膜疾病，而我们发现它对心力衰竭也有效，我们可以立即应用它，因为我们知道它是安全的。这是使用AI研究系统性疾病的一个潜在好处。如果我们发现将视网膜影像与心力衰竭影像结合，视网膜影像可以预测心力衰竭，我们可能会发现这样的药物。这是一个长期目标。
参考文献：《跨九种模态的生物医学对象联合分割、检测和识别的基础模型》（Theodore Zhao, Yu Gu, Jianwei Yang, Naoto Usuyama, Ho Hin Lee, Sid Kiblawi, Tristan Naumann, Jianfeng Gao, Angela Crabtree, Jacob Abel, Christine Moung-Wen, Brian Piening, Carlo Bifulco, Mu Wei, Hoifung Poon 和 Sheng Wang），2024年11月18日，《自然方法》。DOI: 10.1038/s41592-024-02499-w
(全文结束)
