本月早些时候，微软推出了Copilot Health，这是其Copilot应用中的一个新空间，用户将能够连接自己的医疗记录并提出具体的健康问题。几天前，亚马逊宣布，此前仅限其One Medical服务会员使用的基于大语言模型的工具Health AI，现已向大众开放。这些产品加入了OpenAI于1月发布的ChatGPT Health以及Anthropic的Claude的行列，后者在获得许可后可以访问用户的健康记录。面向大众的健康AI已成为一种正式趋势。
鉴于许多人难以通过现有医疗系统获得健康建议，对提供健康建议的聊天机器人的需求显而易见。一些研究表明，当前的大语言模型有能力做出安全有用的建议。但研究人员表示，这些工具应该由独立专家进行更严格的评估，理想情况下应在广泛发布前进行。
在健康这样高风险领域，信任公司自我评估其产品可能是不明智的，尤其是当这些评估结果不对外公开以供专家审查时。即使公司进行了高质量、严谨的研究——有些公司，包括OpenAI，似乎确实如此——它们仍可能存在盲点，而更广泛的研究社区可以帮助填补这些盲点。
牛津互联网研究所博士生Andrew Bean表示：“鉴于人们对医疗保健的需求总是存在，我认为我们绝对应该探索所有可行的途径。对我来说，这些模型完全有可能已经达到了值得推广的阶段。”但他补充说：“证据基础必须到位。”
转折点
据开发者称，这些健康产品之所以现在发布，是因为大语言模型确实已经达到了可以有效提供医疗建议的程度。微软AI健康部门副总裁、前外科医生Dominic King认为，AI的进步是公司成立健康团队以及Copilot Health诞生的核心原因。他说：“我们已经在生成式AI回答健康问题并给出良好回应的能力上看到了巨大进步。”
但King认为，这只是故事的一半。另一个关键因素是需求。在Copilot Health发布前不久，微软发布了一份报告及配套博文，详细说明了人们如何使用Copilot获取健康建议。该公司表示，每天收到5000万个健康问题，健康是Copilot移动应用上最受欢迎的讨论话题。
其他AI公司也注意到了并对这一趋势做出了回应。OpenAI健康AI团队负责人Karan Singhal说：“甚至在我们的健康产品推出之前，我们就看到人们使用ChatGPT处理健康相关问题的频率在迅速增加。”（OpenAI与微软有长期合作关系，Copilot由OpenAI的模型提供支持。）
人们可能只是更喜欢向一个24小时在线、不加评判的机器人倾诉健康问题。但许多专家将这一现象解读为当前医疗系统现状的反映。西奈山健康系统首席AI官Girish Nadkarni说：“这些工具存在并在整体格局中占有一席之地是有原因的，那就是获取医疗保健很困难，尤其对某些群体来说更是如此。”
面向消费者的LLM健康聊天机器人的美好愿景是，它们可以改善用户健康，同时减轻医疗系统压力。这可能包括帮助用户判断是否需要就医，这一任务被称为分诊。如果聊天机器人分诊有效，那么需要紧急护理的患者可能会比以往更早寻求帮助，而症状较轻的患者则可以根据聊天机器人的建议在家管理症状，而不是不必要地占用急诊室和医生办公室。
但Nadkarni及西奈山其他研究人员最近的一项广受讨论的研究发现，ChatGPT Health有时会为轻微病症推荐过多的护理，且未能识别出紧急情况。尽管Singhal和其他一些专家认为该方法可能无法全面反映ChatGPT Health的能力，但这项研究引发了人们对这些工具在发布给公众前接受外部评估之少的担忧。
本文采访的大多数学术专家都同意，鉴于一些人获得医疗保健的机会非常有限，LLM健康聊天机器人确实可能带来实际好处。但所有六位专家都对这些工具在未经独立研究人员安全测试的情况下就推出表示担忧。虽然这些工具的一些宣传用途，如推荐锻炼计划或建议用户可向医生咨询的问题，相对无害，但其他用途则存在明显风险。分诊是其中之一；另一个是要求聊天机器人提供诊断或治疗方案。
ChatGPT Health界面包含一个显著免责声明，表明其不用于诊断或治疗，Copilot Health和亚马逊Health AI的发布公告中也包含类似警告。但这些警告很容易被忽视。贝斯以色列女执事医疗中心内科医生兼研究员、谷歌访问研究员Adam Rodman说：“我们都知道人们会用它来进行诊断和治疗。”
医疗测试
公司表示，他们正在测试这些聊天机器人，以确保它们在绝大多数情况下能提供安全的回应。OpenAI设计并发布了HealthBench，一个评估LLM在现实健康相关对话中表现的基准测试——尽管对话本身是由LLM生成的。去年，为ChatGPT Health和Copilot Health提供支持的GPT-5发布时，OpenAI报告了该模型的HealthBench分数：它明显优于以前的OpenAI模型，但整体表现远非完美。
但像HealthBench这样的评估有其局限性。在上个月发表的一项研究中，牛津大学的Bean及其同事发现，即使LLM能独立从虚构的书面场景中准确识别出医疗状况，一个非专业用户在面对同一场景并借助LLM判断时，可能只有三分之一的时间能正确识别。如果用户缺乏医学专业知识，他们可能不知道场景中的哪些部分或他们的真实经历需要包含在提示中，或者可能误解LLM给出的信息。
Bean表示，这一性能差距对OpenAI的模型可能意义重大。在最初的HealthBench研究中，该公司报告称，其模型在需要向用户索取更多信息的对话中表现相对较差。如果是这样，那么那些医学知识不足、无法从一开始就向健康聊天机器人提供所需信息的用户，可能会得到无益或不准确的建议。
OpenAI健康负责人Singhal指出，公司当前的GPT-5系列模型在主动索取额外信息方面比其前代产品做得好得多，但该系列在原始HealthBench研究时尚未发布。然而，OpenAI报告称，当前旗舰模型GPT-5.4在寻求上下文信息方面实际上比早期版本GPT-5.2更差。
Bean表示，理想情况下，健康聊天机器人在发布前应像他的研究那样，经受住有真人用户参与的对照测试。这可能是一项艰巨的任务，尤其是考虑到AI世界发展速度之快和人类研究所需时间之长。Bean自己的研究使用了GPT-4o，它几乎是在一年前推出的，现在已经过时了。
本月早些时候，谷歌发布了一项符合Bean标准的研究。在这项研究中，患者在与人类医生会面之前，先与公司尚未向公众开放的医疗LLM聊天机器人AMIE（Articulate Medical Intelligence Explorer的缩写）讨论了医疗问题。总体而言，AMIE的诊断准确率与医生相当，且没有对话引发研究人员的重大安全问题。
尽管结果令人鼓舞，但谷歌并不打算很快发布AMIE。谷歌DeepMind研究科学家Alan Karthikesalingam在一封电子邮件中写道：“虽然研究取得了进展，但在将系统真正用于诊断和治疗之前，必须解决显著限制，包括对公平性、公正性和安全性测试的进一步研究。”谷歌最近透露，其与CVS合作构建的健康平台Health100将包含一个由其旗舰Gemini模型驱动的AI助手，但该工具很可能不用于诊断或治疗。
与Karthikesalingam共同领导AMIE研究的Rodman认为，对于ChatGPT Health和Copilot Health这样的聊天机器人来说，不一定需要开展如此耗时多年的广泛研究。他说：“在生成式AI领域，临床试验范式并非总是适用。这就引出了基准测试的讨论。我们能否找到一个可信的第三方基准，并且各方都认为其有意义，实验室可以以此为标准约束自己？”
关键点在于“第三方”。无论公司如何广泛地评估自己的产品，完全信任其结论都很困难。第三方评估不仅带来公正性，而且如果涉及多个第三方，还有助于防止盲点。
OpenAI的Singhal表示他坚决支持外部评估。他说：“我们尽力支持社区。我们发布HealthBench的部分原因正是为了给社区和其他模型开发者提供一个优秀评估的范例。”考虑到制作高质量评估的成本很高，他表示怀疑任何单个学术实验室能否产生他所说的“一个能统治一切的评估”。但他高度评价了学术团体为将现有和新颖的评估整合成全面评估套件所做的努力——例如斯坦福大学的MedHELM框架，该框架在各种医疗任务上测试模型。目前，OpenAI的GPT-5在MedHELM上得分最高。
领导MedHELM项目的斯坦福大学医学教授Nigam Shah表示，该框架有其局限性。特别是，它只评估单个聊天机器人回复，但寻求医疗建议的人可能会进行多轮对话。他说，他和一些合作者正准备构建一个能够评估这些复杂对话的评估体系，但这需要时间和金钱。“你我这样的人根本没有能力阻止这些公司发布（健康导向产品），所以他们会为所欲为。像我们这样的人唯一能做的，就是想办法为基准测试提供资金。”
本文采访的没有人认为健康LLM必须在第三方评估中表现完美才能发布。医生自己也会犯错——对于一个只能偶尔见到医生的人来说，一个随时可用但偶尔出错的LLM，只要其错误不太严重，仍然可能比现状有巨大改善。然而，以目前的证据状况，无法确切知道当前可用的工具是否确实构成了改善，或者其风险是否超过了收益。
【全文结束】