纽约市（2024年11月18日）——纽约西奈山医学院的研究人员发现了一种策略，可以在医疗系统中使用大型语言模型（LLM），一种类型的人工智能（AI），同时保持成本效益和性能。该研究结果于11月18日在线发表在《npj数字医学》上（DOI: 10.1038/s41746-024-01315-1），提供了医疗系统如何利用先进AI工具高效自动化的见解，节省时间并减少运营成本，同时确保这些模型在高任务负载下仍能保持可靠。
“我们的研究结果为医疗系统提供了一条整合先进AI工具以高效自动化任务的道路，潜在地可以将LLM的API调用成本降低多达17倍，并确保在重负荷下保持稳定的性能。”该研究的共同资深作者、Icahn西奈山医学院医学教授、查尔斯·布隆夫曼个性化医学研究所主任、西奈山医疗系统数据驱动和数字医学（D3M）部门主任Girish N. Nadkarni博士说。
医院和医疗系统每天都会生成大量数据。像OpenAI的GPT-4这样的LLM提供了令人鼓舞的方法来自动化和简化工作流程，通过协助各种任务。然而，持续运行这些AI模型的成本很高，这成为广泛使用的财务障碍，研究人员表示。
“我们的研究动机是找到实际方法来降低成本，同时保持性能，使医疗系统能够有信心大规模使用LLM。我们对这些模型进行了‘压力测试’，评估它们同时处理多个任务的能力，并确定了保持高性能和成本可控的策略。”该研究的第一作者、D3M生成AI研究项目主任Eyal Klang博士说。
该研究涉及使用真实患者数据测试10个LLM，检查每个模型对不同类型临床问题的响应。团队进行了超过30万次实验，逐步增加任务负载，以评估模型如何应对不断增长的需求。
除了测量准确性外，团队还评估了模型遵守临床指令的情况。随后进行了经济分析，结果显示，将任务分组可以帮助医院降低AI相关成本，同时保持模型性能。
研究表明，通过将多达50项临床任务（如匹配患者进行临床试验、构建研究队列、提取流行病学研究数据、审查药物安全性和识别适合预防健康筛查的患者）分组，LLM可以同时处理这些任务而不会显著降低准确性。这种任务分组方法表明，医院可以通过优化工作流程将API成本降低多达17倍，对于较大的医疗系统来说，每年可节省数百万美元，使先进的AI工具更具财务可行性。
“认识到这些模型在高认知负载下开始挣扎的点对于维持可靠性和操作稳定性至关重要。我们的研究结果强调了在医院中集成生成AI的实际路径，并为进一步调查LLM在现实世界限制内的能力打开了大门。”Nadkarni博士说。
研究人员的一个意外发现是，即使像GPT-4这样先进的模型在被推向认知极限时也会表现出压力迹象。这些模型的表现不是出现小错误，而是在压力下周期性地不可预测地下降。
“这项研究对AI如何集成到医疗系统中具有重要意义。将任务分组不仅降低了成本，还节省了可以更好地用于患者护理的资源。”该研究的共同作者、西奈山医疗系统的首席临床官、西奈山医院和西奈山皇后医院院长、霍拉斯·W·戈德史密斯麻醉学教授、人工智能与人类健康及病理学教授David L. Reich博士说，“通过认识这些模型的认知极限，医疗保健提供者可以最大化AI的效用，同时减轻风险，确保这些工具在关键的医疗环境中仍然是可靠的辅助。”
接下来，研究团队计划探索这些模型在实时临床环境中的表现，管理真实的患者工作量并与医疗团队直接互动。此外，团队还计划测试新兴模型，看看技术进步是否会改变认知阈值，朝着可靠的医疗AI集成框架努力。最终，他们的目标是为医疗系统提供平衡效率、准确性和成本效益的工具，提升患者护理质量，而不引入新的风险。
该论文题为《医疗系统规模下的大型语言模型成本效益策略》。其余作者均来自Icahn西奈山医学院，分别是Donald Apakama博士、Ethan E Abbott博士、Akhil Vaid博士、Joshua Lampert博士、Ankit Sakhuja博士、Robert Freeman博士、Alexander W. Charney博士、Monica Kraft博士和Benjamin S. Glicksberg博士。
有关竞争利益的详细信息，请参阅：[DOI: 10.1038/s41746-024-01315-1]。
本研究得到了美国国立卫生研究院心脏、肺和血液研究所（R01HL155915）和美国国立卫生研究院促进转化科学中心（CTSA资助UL1TR004419）的支持。
(全文结束)
