研究确定了医疗环境中AI成本效益的策略

Study identifies strategy for AI cost-efficiency in health care settings

一项由西奈山伊坎医学院（Icahn School of Medicine at Mount Sinai）的研究人员进行的研究，确定了在医疗系统中使用大型语言模型（LLMs）——一种人工智能（AI）——的同时保持成本效益和性能的策略。该研究结果于11月18日在线发表在《npj数字医学》杂志上，提供了如何利用先进的AI工具高效自动化任务的见解，节省时间并减少运营成本，同时确保这些模型在高任务负载下仍能保持可靠。

“我们的研究结果为医疗系统提供了一条路线图，以高效整合先进的AI工具，潜在地将用于大型语言模型的API调用成本削减高达17倍，并确保在重负荷下保持稳定的性能，”共同资深作者Girish N. Nadkarni博士说。Nadkarni博士是西奈山伊坎医学院的医学教授、查尔斯·布朗夫曼个性化医学研究所主任，以及西奈山医疗系统的数据驱动和数字医学（D3M）部门主任。

医院和医疗系统每天都会生成大量的数据。像OpenAI的GPT-4这样的大型语言模型，通过协助各种任务，为自动化和简化工作流程提供了令人鼓舞的方式。然而，持续运行这些AI模型的成本很高，成为广泛使用的财务障碍，研究者们表示。

“我们的研究动机是找到实际的方法，在保持性能的同时降低成本，使医疗系统能够自信地大规模使用大型语言模型。我们着手‘压力测试’这些模型，评估它们在同时处理多个任务时的表现，并确定保持高性能和成本可控的策略，”第一作者Eyal Klang博士说。Klang博士是D3M的生成式AI研究项目的主任。

该研究涉及使用真实患者数据测试10个大型语言模型，考察每个模型对不同类型临床问题的响应。研究团队进行了超过30万次实验，逐步增加任务负载，以评估模型如何应对日益增长的需求。

除了测量准确性外，研究团队还评估了模型对临床指令的遵守情况。随后进行了经济分析，揭示了通过任务分组可以帮助医院降低与AI相关的成本，同时保持模型性能。

研究表明，通过特别将多达50项临床任务（如匹配患者参加临床试验、构建研究队列、提取流行病学研究数据、审查药物安全性和识别适合预防健康筛查的患者）组合在一起，大型语言模型可以同时处理这些任务而不会显著降低准确性。这种任务分组方法表明，医院可以通过优化工作流程将API成本降低多达17倍，对于较大的医疗系统来说，每年可节省数百万美元，使高级AI工具更具财务可行性。

“认识到这些模型在高认知负荷下开始挣扎的点对于维持可靠性和操作稳定性至关重要。我们的研究结果突显了在医院中整合生成式AI的实用路径，并为进一步调查大型语言模型在现实世界限制内的能力打开了大门，”Nadkarni博士说。

研究者们指出，一个意外的发现是，即使是像GPT-4这样的高级模型在被推向认知极限时也会表现出压力迹象。模型的性能不是出现小错误，而是会在压力下不可预测地周期性下降。

“这项研究对如何将AI整合到医疗系统中具有重要意义。将任务分组不仅降低了成本，还节省了可以更好地用于患者护理的资源，”共同作者David L. Reich博士说。Reich博士是西奈山医疗系统的首席临床官、西奈山医院和西奈山皇后区医院的院长、麻醉学的霍勒斯·W·戈德史密斯教授，以及西奈山伊坎医学院的人工智能与人类健康和病理学、分子及细胞医学教授。

“通过认识到这些模型的认知极限，医疗提供者可以在最大化AI效用的同时减轻风险，确保这些工具在关键医疗环境中保持可靠的支撑。”

接下来，研究团队计划探索这些模型在实时临床环境中的表现，管理真实的患者工作负载并与医疗团队直接互动。此外，团队旨在测试新兴模型，以查看随着技术进步认知阈值是否会变化，努力朝着可靠的医疗AI整合框架迈进。

最终，他们表示，其目标是为医疗系统配备能够在不引入新风险的情况下平衡效率、准确性和成本效益的工具，从而提升患者护理水平。

(全文结束)