谷歌云今天宣布在其医疗领域的Vertex AI搜索中引入新的生成式AI（gen AI）功能，其中包括一个名为“视觉问答”（Visual Q&A）的新功能，该功能可以搜索表格、图表和图示，并且现在提供Gemini 2.0作为其中的一个模型。Vertex AI搜索的这些新多模态搜索功能可以帮助医疗机构为医生、护士和其他人员提供更全面的患者健康视图。
“我们通过在Vertex AI搜索中嵌入新的多模态功能，帮助临床医生更高效地工作，”谷歌云全球医疗战略与解决方案总监Aashima Gupta表示。“多模态分析处理来自多种来源的患者数据，如医学图像和基因信息，以获得更全面的理解并改进决策。”
多模态AI：全面了解患者健康
多模态AI是指能够处理和整合来自不同来源的信息的技术，如图像、视频和文本。这种能力在医疗领域尤为重要，因为近90%的医疗数据是以图像形式存在的，例如X光片、扫描或照片。为了使医疗专业人员全面了解患者的健康状况，AI模型可以结合医学图像、病史、基因信息等多种数据。通过这些丰富的数据输入，多模态AI可以帮助提供者做出更准确的诊断，设计更个性化的治疗计划，并最终改善患者结果。
Vertex AI搜索的多模态功能
Vertex AI搜索是一款专门针对医疗领域的工具，帮助开发人员构建更好的辅助技术，用于从复杂的医疗数据（如健康记录、医疗文档和其他医疗数据源）中搜索和检索信息。现在，随着Visual Q&A和Gemini 2.0的加入，搜索技术具备了更强的功能：
- 视觉问答允许Vertex AI搜索直接接收图像，如表格、图表或图示，而不是先将图像转换成文本。例如，它可以接收一张显示患者脚部受伤位置的图示，以及患者填写的表单中的复选框，表明他们是否穿着治疗鞋，以及其他症状。视觉问答还可以分析包含表格信息的医疗表单，当这些信息是相关搜索的一部分时，它会将其纳入结果供临床医生参考。
- Gemini 2.0帮助Vertex AI搜索提供更快、更准确的答案。例如，Gemini 2.0 Flash在关键基准测试中的表现优于1.5 Pro，并且速度是其两倍。这一性能提升加速了多模态数据（包括图表、表格和图像等视觉医疗内容）的检索和处理，使决策更加迅速和知情。
Counterpart Health
Counterpart Health是一家基于AI的医生赋能公司，专注于通过早期识别和主动管理慢性疾病来推进价值医疗。该公司的专有技术平台Counterpart Assistant在医生的工作流程中提供实时、特定于患者的见解，确保临床决策由可操作的数据指导，从而实现更好的患者结果。Counterpart Health是Clover Health Investments, Corp.的子公司。
“Counterpart Health致力于帮助临床医生为其患者提供最高质量的护理，”Counterpart Health首席医疗官David Tsay博士表示。“Vertex AI搜索的这些进步为我们提供了强大的新工具来实现这些目标。多模态AI功能将使临床医生能够整合多种类型的临床数据源，从而更全面地了解患者的健康状况，并促进个性化护理管理。”
MEDITECH
全球电子病历公司MEDITECH在其Expanse EHR中开发了一种基于AI的搜索和摘要功能，使护理团队能够使用熟悉的谷歌搜索功能和生成式AI找到所需的信息。今天宣布的新功能将进一步提升其EHR的能力。
“MEDITECH与谷歌云的合作将把最新的多模态AI技术带入我们的Expanse EHR，”MEDITECH首席营销和护理执行官Cathy Turner表示。“在我们与谷歌云合作开发基于AI的搜索和摘要的基础上，这些进步将进一步增强我们提供尖端工具的能力，使临床医生能够更高效地工作。”
Suki
Suki最近宣布其Suki Assistant现在包括基于谷歌云技术的患者摘要和临床问答功能。这些功能帮助用户快速轻松地找到做出护理决策所需的信息，使临床医生能够专注于患者。
“谷歌云继续推动多模态AI在医疗领域的可能性边界，”Suki创始人兼首席执行官Punit Soni表示。“Vertex AI搜索的进步补充了Suki的使命，即使医疗技术变得无形且具有辅助性。通过将Suki在环境AI方面的专业知识与谷歌云强大的多模态功能相结合，我们为临床医生配备了即时访问关键信息的能力，使他们能够提供最佳的患者护理。”
关于谷歌云
谷歌云是一种新的云计算方式，提供AI、基础设施、开发者工具、数据、安全和协作工具，旨在满足当今和未来的需求。谷歌云提供了一个强大、完全集成和优化的AI堆栈，拥有自己的行星规模基础设施、定制芯片、生成式AI模型和开发平台，以及基于AI的应用程序，帮助组织进行转型。超过200个国家和地区的客户选择谷歌云作为他们的信任技术合作伙伴。
(全文结束)
