谷歌云在HIMSS25上推出多模态搜索和视觉问答，推动医疗AI发展

Google Cloud advances healthcare AI with multimodal search and visual Q&A at HIMSS25

在内华达州拉斯维加斯举行的HIMSS25全球健康会议上，谷歌云宣布对其Vertex AI Search平台进行了重大改进，旨在彻底改变医疗环境中数据的可访问性和分析能力。Visual Q&A的推出和Gemini 2.0的集成标志着医疗专业人员与复杂患者数据交互方式的重要进步。

Visual Q&A：解读复杂的医学影像

Visual Q&A是一项开创性的功能，允许直接分析医学图像、表格、图表和图示，无需手动转换为文本。这一功能使临床医生能够将视觉数据直接输入系统，从而进行更全面和高效的搜索。例如，医生可以提交一张指示患者不适区域及其相应症状的图示，以便全面了解患者的状况。

该功能还擅长解释来自医疗表格中的结构化数据，如表格和图表，并将这些信息无缝集成到搜索结果中。通过这种方式，Visual Q&A为临床医生提供了更完整的患者健康视图，增强了诊断准确性和治疗计划的制定。

Gemini 2.0：提升多模态数据处理能力

Gemini 2.0集成到Vertex AI Search中显著提升了平台处理和分析多种类型数据的能力，包括文本、图像和音频。这种多模态方法确保医疗专业人员能够高效地访问和解释各种患者信息。例如，研究人员在分析大量患者脑部MRI数据集时，可以利用Gemini 2.0识别细微模式和异常，加速分析过程，并可能发现人眼难以察觉的见解。

对医疗机构的影响

Vertex AI Search的这些改进，特别是Visual Q&A和Gemini 2.0，代表了医疗机构访问、查看和利用关键患者信息方式的重大飞跃。通过处理文本和视觉数据，这些工具提供了更全面的患者健康视图，促进了准确诊断和个性化治疗计划的制定。

谷歌云的全球医疗总监Aashima Gupta强调，这些多模态功能允许提供者整合多样化的患者数据来源，包括医学影像和遗传信息。这种整合不仅节省了时间，还提高了向患者提供的护理质量。

行业采用和应用

一些医疗机构已经开始将这些AI驱动的工具整合到其运营中：

• Counterpart Health在其Counterpart Assistant软件中使用Vertex AI Search来综合来自100多个医疗来源的数据。这种整合支持早期诊断和慢性病的主动管理，改善了患者的治疗效果。

• MEDITECH已将其Expanse EHR系统中加入了AI驱动的搜索和摘要功能，简化了患者数据检索，改进了临床工作流程。

• Suki通过增强其AI助手的Vertex AI Search功能，加强了临床问答和患者摘要，从而加快了医疗服务提供者的决策过程。

未来前景

Visual Q&A和Gemini 2.0的推出凸显了谷歌云致力于利用人工智能变革医疗交付的承诺。通过解决多模态数据的复杂性，这些工具为更加集成和高效的医疗系统铺平了道路。随着这些技术的广泛采用，它们有潜力显著减轻行政负担，提高诊断准确性，并最终改善患者的治疗效果。

(全文结束)