斯坦福大学研究团队已发布MedAgentBench，这是一个专为评估医疗健康环境中的大语言模型（LLM）智能体而设计的新基准测试套件。与以往的问答数据集不同，MedAgentBench提供了一个虚拟电子健康记录（EHR）环境，AI系统必须在此环境中进行交互、规划并执行多步骤临床任务。这标志着评估重点从静态推理向实时工具化医疗工作流中智能体能力的重要转变。
为何医疗健康领域需要智能体基准测试？
近期的大语言模型已超越静态的基于聊天的交互，迈向智能体行为——解读高级指令、调用应用程序接口（API）、整合患者数据以及自动化复杂流程。在医疗领域，这一演进有望帮助解决人员短缺、文档负担和行政效率低下等问题。
尽管已存在通用智能体基准测试（如AgentBench、AgentBoard、tau-bench），但医疗健康领域缺乏一个标准化基准来捕捉医疗数据的复杂性、FHIR（Fast Healthcare Interoperability Resources）互操作性以及纵向患者记录。MedAgentBench通过提供一个可复现、具有临床相关性的评估框架填补了这一空白。
MedAgentBench包含哪些内容？
任务如何构建？
MedAgentBench包含300个任务，涵盖10个类别，均由持证医师编写。这些任务包括患者信息检索、实验室结果追踪、文档记录、检查申请、转诊以及药物管理。任务平均包含2-3个步骤，模拟了住院和门诊护理中遇到的工作流程。
哪些患者数据支持该基准？
该基准利用了从斯坦福大学STARR数据存储库提取的100个真实患者档案，包含超过70万条记录，包括实验室数据、生命体征、诊断、手术程序和药物医嘱。数据经过匿名化和扰动处理以保护隐私，同时保持临床有效性。
环境如何构建？
该环境符合FHIR标准，支持对电子健康记录（EHR）数据的检索（GET）和修改（POST）。AI系统可以模拟真实的临床交互，如记录生命体征或下达药物医嘱。这种设计使该基准可直接转化为实时电子健康记录系统。
如何评估模型？
- 评估指标：任务成功率（SR），采用严格的pass@1指标衡量，以反映现实世界的安全要求。
- 测试模型：12个领先的大语言模型，包括GPT-4o、Claude 3.5 Sonnet、Gemini 2.0、DeepSeek-V3、Qwen2.5和Llama 3.3。
- 智能体编排器：基础编排设置配备九个FHIR功能，每项任务限八轮交互。
哪些模型表现最佳？
- Claude 3.5 Sonnet v2：总体表现最佳，成功率69.67%，在检索任务中尤为出色（85.33%）。
- GPT-4o：成功率64.0%，在检索和操作性能方面表现均衡。
- DeepSeek-V3：成功率62.67%，在开源权重模型中领先。
- 观察发现：大多数模型在查询任务上表现出色，但在需要安全执行多步骤操作的基于行动的任务上表现不佳。
模型出现了哪些错误？
出现了两种主要的失败模式：
- 指令遵循失败——无效的应用程序接口（API）调用或不正确的JSON格式。
- 输出不匹配——当需要结构化数值时却提供了完整句子。
这些错误突显了精确性和可靠性方面的差距，而这在临床部署中都至关重要。
总结
MedAgentBench建立了首个大规模基准测试，用于在真实电子健康记录（EHR）环境中评估大语言模型智能体，将300个临床医生编写的任务与符合FHIR标准的环境以及100个患者档案相结合。结果显示了强大的潜力但可靠性有限——Claude 3.5 Sonnet v2以69.67%的成功率领先——突显了查询成功与安全行动执行之间的差距。尽管受限于单一机构数据和以电子健康记录为中心的范围，MedAgentBench提供了一个开放、可复现的框架，以推动下一代可靠的医疗健康AI智能体的发展。
【全文结束】
