一张图片可能值千言万语，但它们仍然有很多工作要做才能赶上BiomedGPT。最近在著名期刊《Nature Medicine》上报道的BiomedGPT是一种新型的人工智能（AI），旨在支持广泛的医疗和科学任务。这项由多个机构合作进行的新研究被描述为“首个开源且轻量级的视觉语言基础模型，设计为一个通才，能够执行各种生物医学任务”。
“这项工作将两种类型的AI结合成一个医疗提供者的决策支持工具，”Lehigh大学计算机科学与工程助理教授、该研究的主要作者之一Lichao Sun解释道。“系统的一侧经过训练以理解生物医学图像，另一侧则经过训练以理解和评估生物医学文本。这种组合使模型能够应对广泛的生物医学挑战，利用从生物医学图像数据库中获得的见解以及对科学和医学研究报告的分析和综合。”
为医疗从业者和患者带来16项最先进成果
8月7日《Nature Medicine》文章《用于多样化生物医学任务的通才视觉语言基础模型》的关键创新在于，这种AI模型不需要针对每个任务进行专门化。通常，AI系统是为特定任务训练的，例如识别X光片中的肿瘤或总结医学论文。然而，这种新模型可以使用相同的基础技术处理许多不同的任务。这种多功能性使其成为“通才”模型，并成为医疗提供者手中的强大新工具。
“BiomedGPT基于基础模型，这是AI领域的最新发展，”Sun说。“基础模型是大型的预训练AI系统，可以通过最少的额外训练适应各种任务。本文描述的通才模型已经接受了大量生物医学数据的训练，包括图像和文本，使其在不同应用中表现出色。”
“通过对25个数据集进行9项生物医学任务和不同模态的评估，”Lehigh博士生、Sun的指导学生兼《Nature》文章的第一作者Kai Zhang说，“BiomedGPT实现了16项最先进的成果。对BiomedGPT在三个放射学任务上的人类评估展示了该模型的强大预测能力。”
Zhang表示，他为开放源代码代码库的可用性感到自豪，这为其他研究人员提供了进一步开发和采用的跳板。
研究团队报告称，BiomedGPT背后的技术有朝一日可以帮助医生解读复杂的医学图像，帮助研究人员分析科学文献，甚至通过预测分子行为来辅助药物发现。
“这种技术的潜在影响是显著的，”Zhang说，“它可以简化医疗保健和研究的许多方面，使其更快、更准确。我们的方法表明，有效的大数据训练可以导致更实用的生物医学AI，以改善诊断和工作流程效率。”
临床验证的团队努力
过程中的关键一步是验证模型在现实世界医疗环境中的有效性和适用性。
“临床测试涉及将AI模型应用于真实患者数据，以评估其准确性、可靠性和安全性，”Sun说。“这些测试确保模型在不同场景下表现良好。这些测试的结果有助于优化模型，展示其在改进临床决策和患者护理方面的潜力。”
马萨诸塞州总医院（MGH）是Mass General Brigham医疗系统的创始成员，也是哈佛医学院的教学附属机构，在BiomedGPT模型的开发和验证中发挥了关键作用。该机构的参与主要集中在提供临床专业知识，并促进模型在现实世界医疗环境中的有效性评估。例如，该模型在MGH的放射科进行了测试，展示了在视觉问答和放射学报告生成等任务中的卓越性能。这种合作确保了模型既准确又适用于临床使用。
BiomedGPT的其他贡献者包括来自乔治亚大学、三星研究院美洲分部、宾夕法尼亚大学、斯坦福大学、中佛罗里达大学、加州大学圣克鲁兹分校、德克萨斯大学健康科学中心、费城儿童医院和梅奥诊所的研究人员。
“这项研究高度跨学科且协作性强，”Sun说。“研究涉及多个领域的专业知识，包括计算机科学、医学、放射学和生物医学工程。每位作者都贡献了必要的专业知识，以开发、测试和验证模型在各种生物医学任务中的表现。像这样的大型项目通常需要访问多样化的数据集和计算资源，以及算法开发、模型训练、评估和应用于现实场景的技能，以及临床测试和验证。”
“这是一个真正的团队努力，”他说。“创建一些真正能帮助医疗界改善广泛问题患者结果的东西是一项非常复杂的挑战。面对如此复杂的问题，合作是通过科学和工程的应用创造影响的关键。”
(全文结束)
