借助医疗保健 AI 模型解锁下一代 AI 能力

Unlocking next-generation AI capabilities with healthcare AI models

现有语言模型彻底改变了我们在医疗保健领域基于文本用例的交互和使用强大 AI 模型的方式。但现代医学实践主要是多模态的。要有效评估患者健康的全貌，就需要超越医学文本理解，转向能够整合和分析跨模态（如医学成像、基因组学、临床记录等）的各种数据源的复杂 AI 模型。

图 1：评估患者健康的全貌

全面多模态模型的创建传统上受到大规模集成数据集需求和训练这些模型所需的大量计算能力的阻碍。这些障碍限制了许多医疗保健组织充分利用 AI 的能力。

微软 Azure AI 工作室

改变您的组织使用 AI 的方式。

了解更多

微软 Cloud for Healthcare 有助于弥合这一差距并加速 AI 开发。我们宣布推出“医疗保健 AI 模型”，这是微软 Azure AI 模型目录中提供的一系列尖端多模态医学成像基础模型。与微软研究院和战略合作伙伴合作开发，这些 AI 模型专为医疗保健组织设计，用于测试、微调并构建针对其特定需求的 AI 解决方案，同时最大限度地减少从头构建多模态模型通常所需的大量计算和数据要求。借助医疗保健 AI 模型，医疗专业人员拥有探索 AI 全部潜力以改变患者护理的工具。

医疗保健 AI 模型包括：

• MedImageInsight ：一种嵌入模型，能够进行复杂的图像分析，包括医学成像中的分类和相似性搜索。医疗保健组织和研究人员可以使用模型嵌入并为其特定任务构建适配器，简化放射学、病理学、眼科学、皮肤病学和其他模式的工作流程。例如，研究人员可以探索如何使用该模型构建工具，将成像扫描自动路由到专家，或标记潜在异常以供进一步审查，从而提高效率和患者结果。1
• MedImageParse ：专为精确图像分割设计，该模型涵盖各种成像模式，包括 X 射线、CT、MRI、超声、皮肤病学图像和病理切片。它可以针对特定应用（如肿瘤分割或器官描绘）进行微调，允许开发人员测试和验证利用 AI 进行高度针对性的癌症和其他疾病检测、诊断和治疗规划的能力。2
• CXRReportGen ：胸部 X 光检查是全球最常见的放射学程序。它们至关重要，因为它们有助于医生诊断从肺部感染到心脏问题的各种疾病。这些图像通常是检测影响数百万人健康问题的第一步。通过结合当前和先前的图像以及关键患者信息，这种多模态 AI 模型从胸部 X 光片中生成详细的结构化报告，在图像上突出显示 AI 生成的发现，以与人工在环工作流程保持一致。研究人员可以测试这种能力以及加速周转时间同时提高放射科医生诊断精度的潜力。该模型在行业标准 MIMIC-CXR 基准上表现出色。3

这些基础模型可以加速开创性 AI 模型的到来，为放射科医生的体验带来智能工作流程、高效报告生成以及高级视图识别和分割。除了支持报告准确性外，AI 还可以通过从放射学、病理学和基因组学中解锁新的见解，加速疾病新疗法的发现，预测结果和最佳治疗计划，帮助推进患者护理。

资源不再是创新的障碍

对于医疗保健和生命科学组织有如此多的需求，很难投入时间、资源和预算来试验 AI。医疗保健 AI 模型具有开源、预训练的模型，代表了当前在公共基准上可实现的一些最高性能水平。

总的来说，医疗保健 AI 模型和我们的多模态医学基础模型目录中的其他模型涵盖了广泛的模式和不断增长的能力目录，支持对各种用例的测试和验证，包括：

• 使用图像嵌入模型搜索相似图像或促进可能指示潜在数据问题或系统错误的异常检测（图 2：图像嵌入）。
• 为特定任务构建嵌入模型的适配器（图 3：特定任务的适配器）。
• 对预训练的单模态模型进行微调以创建窄模型（图 4：针对特定任务的微调）。
• 集成语言模型以实现跨模态的洞察提取并增强多模态数据的可解释性（图 5：通用推理器的适配器）。
• 连接不同的数据模式以获得更全面、整体的数据视图，从而得出新的见解并发现以前隐藏的相关性和模式。

凭借模型的灵活性和广度，单个单模态健康模型可以独立使用、连接到不同的模式，或者进一步与 GPT-4o 和 Phi 等先进的通用推理模型相结合，创建强大的多模态模型，而无需从一开始就拥有大量集成数据集。Azure AI 工作室和医疗保健 AI 模型补充了微软 Fabric 中可用的医疗保健数据解决方案，为全面分析和重要的患者见解创建了统一的环境。

图 2：图像嵌入 图 3：特定任务的适配器 图 4：针对特定任务的微调 图 5：通用推理器的适配器 图 6：连接模式

由合作伙伴协作网络创建

致力于推动行业 AI 使用的合作伙伴生态系统使医疗保健 AI 模型成为可能。Paige、Providence Healthcare、Nvidia 和 M42 为目录贡献了基础模型，涵盖病理学、3D 医学成像、生物医学研究和医学知识共享。在一组核心共享 AI 原则下开发，这些模型为组织启动自己的 AI 项目提供了强大的起点，同时在整个行业中嵌入负责任的实践。微软致力于负责任地扩展 AI，并倾听、学习和改进我们的工具。我们与组织合作，帮助他们利用数据建立自身竞争优势所需的预测和分析能力。

目录中对 AI 模型的开放访问和模块化方法使医疗保健组织能够定制解决方案、控制其数据并通过共享开发和监督建立信任。这种方法符合我们对负责任 AI 的承诺，确保我们的技术符合道德标准并赢得医学界的信任。

目录的持续发展将是一项协作努力 - 不仅在提供基础模型的各方之间，还包括在这些模型基础上构建自己的研究或临床系统的客户和合作伙伴的支持。

微软致力于在一个能够赋予合作伙伴、开发人员和研究人员权力的生态系统中促进透明度和社区参与，以突破医疗保健领域的可能性，并使医疗保健和生命科学组织能够取得更多成就。这不仅仅是构建模型；而是解锁新的见解、加速创新，并最终在全球范围内改善患者结果，从开创性的前沿制药研究到提供改变生活的医疗护理。

创新在行动

一些客户已经在利用医疗保健 AI 模型解锁的可能性。

麻省总医院布莱根和威斯康星大学的目标是从医学成像分析中生成高级报告。随着成像量的不断增加，与放射科医生的倦怠和短缺相结合，最先进的医学成像模型可用于构建能够将医学图像转换为草稿笔记的应用程序。像这样的项目可以改变核心医疗保健工作流程的效率，为患者提供更好的结果，同时帮助临床医生专注于他们角色的实际操作部分。

“基于医学图像的扎实报告生成是一个新的前沿。我们的共同合作带来了不同的专业知识，用于开发、测试和验证新模型。我们正在努力确定并克服模型如何集成到真实临床系统和工作流程中的挑战，以便为这些能力影响未来真正的患者护理提供途径。”

——Richard Bruce MD PhD，威斯康星大学麦迪逊分校放射学信息学副主席

在生命科学领域，Paige 正在努力将放射学、病理学和基因组学见解相结合，以实现更全面的疾病诊断方法，旨在加速新疗法的发现。AI 在整个医疗保健连续体中发挥着关键作用，我们对风险、疾病和治疗的理解的进步将有助于改善下游患者护理。

“与微软的合作使 Paige 能够从数百万数字化病理切片、临床报告和基因组数据中解锁见解，以更全面地了解癌症。我们一起开创了前沿的多模态 AI 模型，有可能加速和重新定义癌症检测、诊断和治疗。我们很高兴继续引领潮流，塑造精准肿瘤学的未来。”

——Razik Yousfi，Paige 首席执行官兼首席技术官

而且，医疗保健 AI 模型支持的不仅仅是人类健康；Mars PETCARE 正在探索兽医学中的用例，例如放射学和病理学团队的数据评估。治疗宠物和治疗人类一样复杂，所以这项工作恰恰展示了该平台的多功能性 - 每个模型都可以通过正确的方法应用于新的应用。

“我们与微软的战略合作伙伴关系在兽医诊断方面代表了重大飞跃。作为数字病理学和放射学中 AI 的早期采用者，我们亲眼目睹了这项技术如何改变动物护理。通过将我们的兽医专业知识与微软的前沿 AI 模型相结合，我们不仅在推进诊断，还在为宠物创造更美好的世界。这次合作将加速我们的 AI 研发努力，为兽医提供更准确和高效的工具。我们一起在兽医学中设定新的标准，并加强我们对动物健康创新的承诺。”

——Jerry Martin，火星科学与诊断研究与开发副总裁

“Sectra 正在探索如何利用基础模型的图像和文本嵌入来改变放射学中的工作流程任务。这些任务传统上通过静态配置进行管理，现在正在使用生成式 AI 进行改造，以适应医疗保健数据的多样性。”

——Fredrik Häll，SECTRA 产品主管

“Topcon Healthcare 正在通过利用从大规模基于人群的筛查环境中收集的数据，构建多模态和三维眼科成像基础模型（FM），以对健康人群进行表型分析。该 FM 有助于探索眼睛中的生物标志物，这些标志物是眼睛和全身性疾病的早期指标。”

——Mary Durbin，Topcon Healthcare 临床科学副总裁

“我们很高兴通过 Azure AI 工作室提供 Med42，我们领先的临床 LLM。通过 Med42，我们正在利用 AI 的力量有力地颠覆传统医疗保健系统，并为临床医生、科学家和患者提供价值。随着我们的 M42 医疗保健基础模型套件到 MEDIC 的进步，我们全面的临床评估框架用于 LLM，M42 正在推进全球医疗保健创新。”

——Dr. Ronnie Rajan，Med42 人工智能与应用科学副主任

“病理学和医学成像中基础 AI 模型的开发有望推动癌症研究和诊断的重大进展。这些模型可以通过提供超越传统视觉解释的见解来补充人类专业知识，并且随着我们朝着更集成、多模态的方法迈进，将重塑医学的未来。”

——Carlo Bifulco，MD，Providence Genomics 首席医疗官和 Prov-GigaPath 研究的合著者

微软 Cloud for Healthcare 正在通过数据和 AI 帮助您的组织塑造更健康的未来

我们很高兴通过微软 Cloud for Healthcare 加强我们的数据和 AI 投资。我们的医疗保健解决方案建立在信任的基础上和微软的负责任 AI 原则之上。通过这些创新，我们使我们的合作伙伴和客户更容易在每个护理点创建互联体验，增强他们的医疗保健劳动力，并使用对医疗保健行业重要的数据标准从其数据中释放价值。

了解更多关于医疗保健的 AI

• 参加 HLTH2024，展位#4004，观看医疗保健 AI 模型的实际操作。
• 从 2024 年 10 月 20 日开始，访问微软 Azure AI 工作室，了解更多关于医疗保健 AI 模型，并探索其基础模型如何帮助您改变组织使用 AI 的方式。
• 连接并了解微软研究院在 AI 和语言模型方面的进展
• 了解更多关于微软 Fabric 中的医疗保健数据解决方案
• 观看“AI 用于业务转型：多模态模型”采访。
• • *

医疗设备免责声明：微软产品和服务（1）并非设计、意图或提供作为医疗设备，并且（2）并非设计或意图替代专业医疗建议、诊断、治疗或判断，不应用于替代或作为专业医疗建议、诊断、治疗或判断的替代品。客户/合作伙伴负责确保解决方案符合适用的法律法规。

生成式 AI 并不总是提供准确或完整的信息。AI 输出不反映微软的意见。客户/合作伙伴需要彻底测试和评估 AI 工具是否适合预期用途，并识别和减轻与使用相关的对最终用户的任何风险。客户/合作伙伴应彻底审查每个工具的产品文档。

1MedImageInsight：通用领域医学成像的开源嵌入模型，2024。

2BiomedParse：一次无处不在的生物医学基础模型用于图像解析，2024。

3MAIRA-2：基于基础的放射学报告生成，2024。

Matthew Lungren，MD，MPH

健康与生命科学首席科学官

查看此作者的更多文章

相关帖子

• 发布 10 月 10 日

4 分钟阅读

借助数据和负责任的 AI 增强医疗保健：微软 Cloud for Healthcare 的新创新

• 发布 10 月 10 日

7 分钟阅读

利用统一和受保护的多模态医疗保健数据为医疗保健 AI 提供动力

• 发布 10 月 10 日

3 分钟阅读

在微软 Copilot 工作室中引入医疗保健代理服务

• 发布 10 月 9 日

9 分钟阅读

航空业的 AI 解决方案和数据平台

探索微软行业解决方案

通过量身定制的行业解决方案超越界限。加快实现价值的时间，加速创新，并为您的客户、员工和组织带来好处。

了解更多

关注我们：

有什么新内容

• Surface Pro
• Surface Laptop
• Surface Laptop Studio 2
• Surface Laptop Go 3
• 微软 Copilot
• Windows 中的 AI
• 探索微软产品
• Windows 11 应用

微软商店

• 账户资料
• 下载中心
• 微软商店支持
• 退货
• 订单跟踪
• 认证翻新
• 微软商店承诺
• 灵活支付

教育

• 微软在教育领域
• 教育设备
• 微软 Teams 教育版
• 微软 365 教育版
• 如何为您的学校购买
• 教育工作者培训和发展
• 学生和家长的优惠
• 面向学生的 Azure

商业

• 微软云
• 微软安全
• Dynamics 365
• 微软 365
• 微软 Power Platform
• 微软 Teams
• 微软 365 Copilot
• 小企业

开发人员和 IT

• Azure
• 开发人员中心
• 文档
• 微软学习
• 微软技术社区
• Azure 市场
• AppSource
• Visual Studio

公司

• 职业
• 关于微软
• 公司新闻
• 微软隐私
• 投资者
• 多样性和包容性
• 可访问性
• 可持续性

英语（美国）您的隐私选择退出图标 您的隐私选择 您的隐私选择退出图标 您的隐私选择 消费者健康隐私

• 网站地图
• 联系微软
• 隐私
• 管理 Cookie
• 使用条款
• 商标
• 安全与生态
• 回收
• 关于我们的广告
• © 微软 2024

通知