通用大语言模型在医学基准测试中胜过专用临床AI工具General Purpose AI Models Outperform Clinical AI Tools Study

通用大语言模型在医学基准测试中胜过专用临床AI工具

一项发表在《自然医学》上的三阶段基准测试研究表明，GPT-5.2、Gemini 3.1 Pro和Claude Opus 4.6等通用大语言模型在所有评估指标上均优于OpenEvidence和UpToDate Expert AI等临床专用AI工具，包括临床医生评分的真实世界查询。

研究概览

背景

人工智能工具在临床环境中的部署在过去几年中显著加速。医疗系统、医院网络和私人诊所在"领域特定设计能带来临床优势"的营销前提下，正在积极采用AI产品。目前出现了两类工具：任何有互联网访问权限的用户都可使用的前沿通用大语言模型(LLMs)，以及基于LLM架构构建并通过精选医学数据库、检索增强生成(RAG)管道或领域特定微调增强的专有临床AI平台。

临床AI专业化的理论依据是合理的。医学语言精确；临床推理涉及根据患者特定背景权衡概率性鉴别诊断；此领域中的错误会产生一般文本生成错误所没有的后果。大多数临床AI采购决策中嵌入的假设是，专为医学设计的工具将在医学相关任务上优于通用替代方案。

在本研究进行时，这一假设尚未经过严格的独立头对头测试。临床AI工具供应商在进入临床市场前不需要发布比较性能数据，医疗系统通常缺乏进行自身部署前评估的基础设施。结果是，广泛采用基于营销声明而非独立验证基准的模式。

本研究旨在直接填补这一证据空白，通过结构化的医学知识和临床推理任务进展，在真实临床环境中从执业医师提交的实际查询构建的新型基准上，比较两种领先的专有临床AI平台与三种前沿通用大语言模型。

目标

本研究追求三个相互关联的目标。首先，确定专用临床AI工具是否在标准化医学知识评估上优于通用大语言模型。其次，评估临床AI工具在由专用临床医生一致性框架衡量的与临床医生推理和价值观的一致性方面是否表现更优。第三，也是最具临床意义的，评估在从真实医生生成的查询构建的新型基准上的比较表现，该基准使用盲法专家临床医生评审作为主要评分机制。

方法

研究设计

这是一项前瞻性比较基准评估。所有五个AI系统在三个连续阶段中在相同条件下接受评估，每个阶段针对医学AI性能的不同维度。该设计不是随机对照试验，不涉及患者层面的干预或结果。其发现涉及AI系统行为，而非临床护理提供。

评估的AI系统

测试的三个通用前沿大语言模型是OpenAI GPT-5.2、Google Gemini 3.1 Pro Preview和Anthropic Claude Opus 4.6。这些系统在没有领域特定修改或临床微调的情况下部署，意味着它们展示的任何性能优势都反映了基础模型的能力，就像普通用户访问它们时那样。两个临床AI工具是OpenEvidence和UpToDate Expert AI，它们都基于LLM架构构建，并以领域特定训练和(至少在某些配置中)将模型连接到精选医学文献数据库的RAG管道为基础向医疗系统营销。Google搜索AI概述作为参考比较器，代表通过标准互联网搜索可获得的AI中介输出，而非专为临床或通用AI系统构建的工具。

基准测试阶段

第一阶段：MedQA(500道题)。MedQA是一个经过充分验证的美国医师执照考试(USMLE)风格问题数据集，用于评估事实性医学知识、结构化回忆和逐步临床推理。这些项目上的准确性是医学AI研究中广泛使用的基准。

第二阶段：HealthBench(500项)。HealthBench是一个较新的评估框架，旨在衡量AI响应与临床医生推理、价值观和沟通标准之间的一致性。它探究USMLE风格准确性无法捕捉的AI性能维度，包括从执业临床医生的角度来看，响应是否适当、安全和实用。

第三阶段：真实临床查询(RCQ)基准(100个查询，1,800个标注)。RCQ基准是专门为本研究构建的，基于执业医师在实际临床工作中先前提交给通用大语言模型的100个匿名查询。这些不是假设性或教科书问题；它们代表真实实践环境中临床医生的有机信息需求。所有五个AI系统为每个查询生成响应。12位执业美国临床医生随后以随机、盲法格式审查这些响应，在不知道哪个模型生成每个响应的情况下对输出进行评分。1,800个总标注为每个查询提供约15位临床医生对所有模型的评分，为比较评估提供了合理的密集信号。

临床评估者小组

12位执业美国临床医生担任第三阶段的专家评估员。他们的角色是在盲法条件下评估AI生成的临床查询响应。关于他们的专业、经验年限、实践环境和地理分布的具体细节在可用数据中未报告，这限制了对评估者普遍性的评估。

结果

主要结果是所有三个基准测试阶段的比较性能排名。次要观察涉及由未披露的专有架构造成的透明度差距、领域特定修改未能带来性能优势，以及临床AI工具与Google搜索AI概述参考比较器的相对表现。

主要结果

主要发现一致且方向明确：前沿通用大语言模型在评估的每个基准测试阶段的表现都优于专用临床AI工具。

在MedQA上，GPT-5.2、Gemini 3.1 Pro Preview和Claude Opus 4.6每个都比OpenEvidence或UpToDate Expert AI获得更高的准确率分数。尽管在此次评估中未应用领域特定修改，通用模型在结构化医学知识和USMLE风格临床推理方面表现更好。

在HealthBench上，模式保持不变。在临床医生价值一致性维度上，通用模型再次优于两个临床AI工具，这是专用临床AI平台最明确设计优化的能力。

在RCQ基准测试上，执业医生在盲法条件下审查响应时，将GPT-5.2、Gemini 3.1 Pro和Claude Opus 4.6的输出评为优于OpenEvidence和UpToDate Expert AI。这一发现对临床转化具有最大的表面效度，因为输入是从真实医生查询中提取的，评分是由具有这些信息需求直接经验的临床医生完成的。

需要说明的是：可用于此综合的数据不包括具体的数值分数、百分点差异或置信区间。希望获得精确数量比较的读者应查阅完整论文。此处报告的方向性结论反映了作者明确建立的内容；无法从可用的摘要数据中指定差异的幅度。

次要结果

临床AI工具的表现与Google搜索AI概述相当

在RCQ基准测试上，两个专用临床AI平台的表现与Google搜索AI概述大致相当。Google搜索AI概述不是临床工具。它不是为专业使用而训练的精选医学文献，不接受特定于其作为决策支持工具使用的临床安全审查，也不是向医疗系统推销的临床AI产品。专门构建的、商业部署的临床AI工具与一般消费者搜索功能的近似等效性，对任何评估AI采购决策的临床医生或管理人员来说都是一个重要的发现。

领域特定修改未带来性能优势

临床AI专业化的理论基础是RAG管道、精选医学数据库和领域特定微调会产生临床更优的输出。本研究不支持这一前提。没有这些增强功能运行的通用模型优于部署它们的模型。这并不确定领域特定修改永远有益，但它直接挑战了这样的假设：即它可靠地产生足以证明采用优于免费替代方案的性能增益。

透明度差距具有可衡量的后果

OpenEvidence和UpToDate Expert AI不公开披露其底层架构、基础模型或训练管道。这种不透明性阻止研究人员确定这些工具表现不佳的原因。这也意味着部署这些工具的临床医生和医疗系统在缺乏独立风险评估所需技术信息的情况下做出具有后果的采购决策。本研究量化了这种不透明性的一个后果：相对于任何拥有笔记本电脑的人都可获得的替代方案，记录在案的表现不佳。

盲法临床医生评审员检测到性能差异

12位临床医生在不知道模型身份的情况下审查输出，一致地将通用大语言模型的输出评为高于临床AI工具的输出，这一事实表明这些差异在临床判断层面上是可感知的，而不仅仅是在自动评分指标层面上。这加强了性能差距的实际相关性。

不良事件

本研究不涉及接受临床干预的人类参与者，因此不适用传统药理学或程序意义上的不良事件。研究没有对单个响应中的AI生成错误、幻觉或安全故障进行正式裁决，尽管HealthBench框架包含间接惩罚临床医生认为不适当或不安全的输出的临床医生一致性标准。详细的错误分类在用于此综合的数据中不可用。

亚组分析

在可用数据中未描述按查询类型、医学专业、疾病类别或临床评估者特征分层的正式亚组分析。RCQ基准包括从真实临床使用中提取的100个查询，可能涵盖多个临床领域，但摘要中未报告领域特定性能分解。这是一个有意义的差距：通用和临床AI工具之间的性能差异可能因专业或查询复杂性而异，而聚合排名无法揭示这一点。该评估框架的未来迭代将受益于跨临床领域的预指定亚组分析。

统计严谨性

该研究在RCQ基准测试中采用了由多位独立临床医生评审员进行的结构化、盲法评估，100个查询和五个模型共有1,800个总标注。对评估者隐藏模型身份是适当的方法学选择，可以减少(尽管不能消除)评分偏差。使用针对不同性能维度的三个连续基准测试加强了整体证据，证明了评估方法之间的一致性。

从可用数据中可以看出统计报告的局限性：具体的准确率分数、系统之间的百分点差异、评分者间可靠性统计以及正式的显著性检验结果无法从提供的摘要中提取。缺乏置信区间和p值使得无法评估报告结果的精确性或观察到的差异反映真实性能差距而非测量变异的概率。这些细节在完整发表的论文中可用，在得出定量结论前应予以查阅。

仔细阅读者要点

本研究在一个结构良好的基准框架内确立了一个明确的方向性发现：通用大语言模型在每个评估阶段的表现都优于专用临床AI工具，包括一个从真实世界医生查询构建并由盲法临床医生评分的阶段。这一发现不受完整定量细节缺失的影响。

有几个注意事项适用。基准测试表现并不等同于临床结果优势；在MedQA或HealthBench上得分更高的模型尚未被证明能改善患者结果、减少诊断错误或在实际护理中提高安全性。12位临床评估者小组可能不能代表美国临床实践的全部多样性。临床AI工具的专有架构未披露，这阻碍了对性能差距的机制解释，并引发了测试版本是否反映当前或更新部署的问题。最后，LLM开发的快速迭代性质意味着任何基准测试评估中的性能排名都可能随着模型更新而改变。

本研究最持久的贡献可能是方法论上的：RCQ基准测试，从真实医生查询构建并由盲法临床医生评分，提供了一个比仅USMLE风格准确性更具生态效度的评估框架，其更广泛采用将加强临床AI采购决策的证据基础。

卡普兰博士的评论

本研究记录的是许多日常使用AI工具的临床医生已经怀疑但缺乏结构化证据来表述的内容：AI产品的"临床"标签并不赋予临床优越性。它赋予的是营销定位。发现OpenEvidence和UpToDate Expert AI这两个正在大规模进入临床工作流程的产品，在真实医生查询上表现与Google搜索AI概述大致相当，不是一个小脚注。这是这项工作的核心挑战，它需要医疗系统、专业协会和监管机构做出严肃回应，这些机构在这些工具扩散时基本上保持被动。

透明度问题使性能问题更加复杂。当临床AI工具的基础模型、训练管道和检索架构是专有且未披露的时，独立研究人员无法解释为什么该工具表现不佳，临床医生无法做出关于何时信任它的知情判断。我们接受透明度作为药品、设备和临床协议的基本要求。没有原则理由将AI工具排除在相同标准之外，特别是当这些工具在高风险护理环境中被定位为临床决策支持时。

RAG前提在这里值得直接审查。临床AI专业化的核心商业论点是，将语言模型连接到精选、同行评审的医学数据库会产生比仅从其训练数据运行的通用模型更准确、更最新和更临床一致的输出。本研究发现了相反的结果。这并不永久解决这个问题，因为RAG实施质量差异很大，此评估在特定时间点测试了特定产品。但这确实意味着不能凭信仰接受这一论点，任何部署RAG增强临床AI工具的医疗系统都应在假设该增强功能提供其所承诺的内容之前要求独立基准测试数据。

从患者安全的角度来看，影响并非假设性的。如果临床医生使用专用临床AI工具来支持鉴别诊断、审查药物相互作用或解释指南建议，而该工具的表现与一般互联网搜索功能相当，那么可能导致严重错误的余地比该工具的营销所暗示的要大。患者没有机制知道影响其护理中临床决策的AI工具(如果有)。这种信息不对称是一个结构性问题，像这样的研究是解决它的问责基础设施的开始。

RCQ基准测试的方法论贡献值得单独强调。在USMLE风格问题上评估AI告诉我们有关事实回忆和结构化推理的有用信息。在HealthBench上评估AI告诉我们有关价值一致性的有用信息。但两者都无法捕捉临床实践的实际信息环境，其中问题紧迫、不完整，并受患者特定背景影响。由真实医生查询构建、由盲法临床医生评分的基准测试更接近临床效用的地面真相。更广泛采用这一框架或其继任者将有意义地提高临床AI部署决策的证据门槛。

先前研究背景

先前对LLM在医学中表现的评估主要集中在USMLE风格准确性上，GPT-4及其后续产品在2023年至2025年间发布的多项独立评估中展示了通过美国医师执照考试第一至第三步骤的能力。这些研究确立了前沿通用大语言模型能够编码大量医学知识，但未在头对头条件下直接将它们与专用临床AI工具进行比较。

HealthBench最近作为评估框架的引入代表了方法论上的进步，通过纳入临床医生衍生的响应质量标准，而不是仅依赖答案键准确性。其包含在本研究中反映了该领域认识到事实正确性是临床AI效用的必要但不充分标准。

临床AI工具与通用模型的比较评估有限，部分原因是专有临床AI平台供应商几乎没有动力赞助或促进独立的头对头比较。此前接近这个问题的少数分析通常范围较窄，专注于单一专业，或依赖自动化而非临床医生评分的结果。本研究是首批在通用大语言模型能力前沿直接比较这两类AI工具的三阶段、多基准、盲法临床框架之一。

实际意义

对临床医生而言，本研究为对"临床AI工具的专门设计使其比免费替代方案更安全或更可靠"这一说法持怀疑态度提供了基于证据的理由。那些能够访问前沿通用大语言模型并被其机构引导使用专有临床AI平台的临床医生，应询问什么独立性能数据支持该建议。

对医疗系统管理员和临床信息学领导者而言，该研究直接反对假设专有和专用意味着优越。部署前评估与相关基准测试，包括临床医生评分的真实世界查询表现，应成为临床AI采购的标准组成部分。供应商提供的性能声明不能替代独立评估。

对患者而言，相关含义是影响其护理中临床决策的AI工具在采用前不一定经过严格的独立测试。询问提供者在其护理中是否使用AI工具以及支持这些工具的临床安全性和准确性的证据是什么，是一个合理且适当的问题。

对政策制定者和监管机构而言，本研究说明了临床AI工具缺乏强制性上市前性能披露所造成的证据差距。FDA当前对基于AI的软件作为医疗设备(SaMD)的监管框架不需要提供此类比较基准披露，以便在采用前而非之后获得这些发现。

局限性

几个局限性限定这些发现的范围。该研究是基准测试评估，不是临床结果研究。在MedQA、HealthBench或RCQ基准测试上表现更优并不能确定通用大语言模型在实践中改善患者结果或减少临床错误。这个问题需要不同的研究设计。

12位临床医生评估者小组规模较小，未报告的人口统计、专业和实践环境信息阻止了对小组是否代表美国临床实践的评估。评估者组成可能以无法从可用数据中看到的方式影响质量评分。

OpenEvidence和UpToDate Expert AI的专有架构未披露。从本研究中无法确定观察到的表现不佳是否反映工具基础模型的根本局限性、次优RAG实施、过时的训练数据或其他因素。也无法确认在此评估中测试的版本与当前生产部署相匹配，考虑到商业AI产品的快速迭代周期。

具体性能数据、置信区间和显著性检验结果在用于此综合的数据中不可用，限制了传达报告差异的幅度和精度的能力。应查阅完整论文以获取这些数字。

最后，此评估是在单一时点进行的。LLM格局变化迅速，特定模型版本之间的性能排名可能随着更新发布而逆转。方法框架比其产生的任何特定排名更具持久性。

未来方向

最重要的方法学下一步是临床结果联系：前瞻性研究测量使用通用与临床特定AI工具的临床医生在下游指标(如诊断准确性、正确诊断时间、药物错误率或患者报告结果)上是否存在差异。基准测试表现是代理；患者结果是目标。

扩大RCQ框架至更大、按专业分层的查询集，配以人口统计特征明确的评估者小组，将增加临床医生评分评估的普遍性和粒度。在初级保健、急诊医学、肿瘤学和其他高危环境等领域特定性能分解对于在专业层面得出结论是必要的。

纵向基准跟踪，随着模型更新重复评估，将为领域提供一个动态画面，显示通用与临床特定工具之间的性能差距如何演变。鉴于模型开发的速度，单次横断面评估的有效期有限。

监管和政策研究应审查什么样的上市前性能披露要求既可行又足以告知临床采购决策。来自药物比较效果框架和医疗设备性能标准的类似物提供了相关模型。

结论

在一项比较五个AI系统在医学知识、临床医生价值一致性和真实世界临床查询表现上的三阶段基准测试评估中，前沿通用大语言模型(GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6)在每一项测量上都优于两个专用临床AI平台(OpenEvidence、UpToDate Expert AI)。专用临床工具在最具临床相关性的基准测试上表现与Google搜索AI概述大致相当。这些发现挑战了领域特定AI设计可靠地带来临床性能优势的核心前提，并主张在临床AI工具进入患者护理环境前进行强制性独立基准测试。

常见问题

本研究是否意味着通用AI工具可以安全地用于临床决策？

否。本研究衡量AI系统之间的相对基准测试表现；它并未确定任何AI工具是否安全或适用于无人监督的临床决策。通用大语言模型在这些基准测试上优于专用临床工具意味着它们在特定评估中得分更高，并不意味着它们应该在没有临床监督的情况下使用。所有AI生成的临床内容都需要经过能够整合患者特定背景的合格临床医生验证。

为什么专用临床AI工具的表现比通用模型差？

本研究不能完全回答这个问题，因为临床AI工具的专有架构未披露。可能的解释包括较弱的基础模型、次优RAG管道实施、训练数据不如前沿通用模型的预训练语料库最新或全面，或优化目标在原始性能与其他属性(如引用格式)之间进行权衡。没有架构透明度，无法进行因果解释。

随着AI模型继续更新，这些排名会保持吗？

不一定。本研究中评估的所有模型将继续更新，相对性能可以在版本之间发生显著变化。此处报告的特定排名反映了在定义时间点进行的定义评估。方法框架，特别是RCQ基准测试设计，比其产生的任何特定排名更可能保持价值。

如果患者的提供者使用临床AI工具，患者应该担心吗？

患者有正当理由了解AI工具是否用于其护理以及支持这些工具的证据是什么。本研究提供了证据，表明"临床AI"标签并不保证性能优越，一些当前在临床中使用的专用工具可能在采用前未经独立基准测试。直接询问提供者在其临床决策中使用了哪些AI工具(如果有)是一个合理的问题。

什么是检索增强生成(RAG)，为什么它在这里很重要？

RAG是一种允许语言模型实时查询外部数据库的技术，在生成响应前检索相关文档。临床AI工具通常使用RAG将模型连接到精选医学文献，前提是将响应基于同行评审来源可以提高准确性并减少幻觉。本研究发现，RAG增强的临床工具并未优于没有此增强功能运行的通用模型，这挑战但未明确反驳RAG在临床环境中的理论效益。

引用

作者：

Krithik Vishwanath, Anton Alyakin, Mrigayu Ghosh, Ali Hage, Sean N. Neifert, Cordelia Orillac, Nataniel J. Mandelberg, Hammad A. Khan, Jin Vivian Lee, Jie J. Yao, William Robert Small, Aakaash Varma, D. Brock Hewitt, Yindalon Aphinyanaphongs, Daniel Alexander Alber & Eric Karl Oermann

通用大语言模型在医学基准测试中胜过专用临床AI工具。《自然医学》。2026. DOI: 10.1038/s41591-026-04431-5

【全文结束】