AI能否改善医生的诊断?研究将其付诸测试Does AI improve doctors’ diagnoses? Study puts it to the test

环球医讯 / AI与医疗健康来源:www.eurekalert.org美国 - 英语2024-11-14 00:00:00 - 阅读时长4分钟 - 1869字
一项新研究表明,尽管Chat GPT Plus在某些方面表现出色,但它并未显著提高医生诊断的准确性,目前仍需更多培训和经验来优化AI在临床环境中的应用。
AI医生诊断弗吉尼亚大学健康系统ChatGPTPlus诊断准确性患者护理临床环境ARiSE
AI能否改善医生的诊断?研究将其付诸测试

随着人工智能(AI)在医疗保健领域的应用日益广泛,了解如何利用这些工具来改善患者护理和医生体验变得至关重要。弗吉尼亚大学健康系统(UVA Health)的安德鲁·S·帕森斯(Andrew S. Parsons)博士表示:“这项研究表明,在优化我们与AI在临床环境中的合作方面,还有许多工作要做。”

在这项由UVA Health的安德鲁·S·帕森斯博士及其同事进行的研究中,50名来自家庭医学、内科和急诊医学的医生被招募来测试Chat GPT Plus的效果。一半的医生随机分配使用Chat GPT Plus来诊断复杂病例,而另一半则依赖传统的资源,如医学参考网站(例如UpToDate)和Google。研究人员随后比较了两组的诊断结果,发现两组的准确性相似。

然而,单独使用Chat GPT的表现超过了两组,这表明它仍然有潜力改善患者护理。研究人员得出结论,医生需要更多的培训和经验,才能充分利用这一新兴技术。目前,Chat GPT最适合用于辅助而非替代人类医生。

“我们的研究表明,AI单独使用可以是一个有效且强大的诊断工具,”帕森斯博士说,他在弗吉尼亚大学医学院负责教授临床技能,并共同领导临床推理研究协作组。“我们惊讶地发现,加入人类医生反而降低了诊断准确性,但提高了效率。这些结果可能意味着我们需要接受如何最佳使用AI的正式培训。”

生成人类类似响应的聊天机器人(称为大型语言模型)越来越受欢迎,它们在记录病史、同理心沟通甚至解决复杂的医疗案例方面表现出色。然而,目前它们仍需要人类医生的参与。帕森斯和他的同事们热衷于确定这种高科技工具如何最有效地使用,因此他们在UVA Health、斯坦福大学和哈佛大学贝丝以色列女执事医疗中心(Beth Israel Deaconess Medical Center)启动了一项随机对照试验。

参与的医生根据基于真实患者护理案例的“临床情景”做出诊断。这些案例研究包括患者的病史、体检和实验室检查结果的详细信息。研究人员随后对结果进行评分,并考察了两组医生做出诊断的速度。使用Chat GPT Plus的医生的中位诊断准确率为76.3%,而使用传统方法的医生的中位诊断准确率为73.7%。使用Chat GPT Plus的医生整体上略快一些,平均用时519秒,而使用传统方法的医生平均用时565秒。

研究人员对Chat GPT Plus单独使用的出色表现感到惊讶,其诊断准确率的中位数超过92%。他们认为,这可能反映了研究中使用的提示词,建议医生需要接受如何有效使用提示词的培训。另一种方法是,医疗机构可以购买预定义的提示词,以便在临床工作流程和文档中实施。

研究人员还警告说,Chat GPT Plus在现实生活中可能表现不佳,因为在临床推理中涉及许多其他因素,尤其是在确定诊断和治疗决策的后续影响方面。他们呼吁进行更多的研究,评估大型语言模型在这些领域的能力,并正在进行类似的管理决策研究。

“随着AI在医疗保健领域的应用越来越多,了解如何利用这些工具来改善患者护理和医生体验变得至关重要,”帕森斯博士说,“这项研究表明,在优化我们与AI在临床环境中的合作方面,还有许多工作要做。”

为了进一步评估AI在医疗保健中的输出,四个研究地点还启动了一个名为ARiSE(AI Research and Science Evaluation)的跨海岸AI评估网络。更多信息请访问ARiSE网站。

该研究结果已发表在科学期刊《JAMA Network Open》上。研究团队成员包括伊桑·戈(Ethan Goh)、罗伯特·加洛(Robert Gallo)、杰森·霍姆(Jason Hom)、埃里克·斯特罗恩(Eric Strong)、王颖洁(Yingjie Weng)、汉娜·克尔曼(Hannah Kerman)、约瑟芬·库尔(Joséphine A. Cool)、扎希尔·卡尼(Zahir Kanjee)、帕森斯博士、尼拉·阿胡贾(Neera Ahuja)、埃里克·霍维茨(Eric Horvitz)、丹尼尔·杨(Daniel Yang)、阿诺德·米尔斯坦(Arnold Milstein)、安德鲁·P·J·奥尔森(Andrew P.J. Olson)、亚当·罗德曼(Adam Rodman)和乔纳森·H·陈(Jonathan H. Chen)。这项研究的资金由戈登和贝蒂·摩尔基金会提供。论文中列出了完整的披露和资金来源信息。要关注UVA的最新医学研究新闻,请订阅《医学制造》博客。


(全文结束)

大健康
大健康