由西奈山医学院的研究人员进行的一项研究确定了在医疗系统中使用大型语言模型（LLM），一种类型的人工智能（AI），的成本效益策略。该研究结果发表在11月18日的《npj数字医学》在线版上，提供了关于医疗系统如何利用先进的AI工具高效自动化任务的见解，从而节省时间和减少运营成本，同时确保这些模型在高负载下仍能保持可靠性能。
“我们的发现为医疗系统提供了一条整合先进AI工具以高效自动化任务的道路，有可能将用于LLM的API调用成本削减多达17倍，并确保在重负荷下保持稳定的性能，”共同资深作者Girish N. Nadkarni博士说。他是Icahn西奈山医学院的医学教授，查尔斯·布朗夫曼个性化医学研究所主任，以及西奈山医疗系统的数据驱动和数字医学（D3M）部门负责人。
医院和医疗系统每天都会生成大量数据。像OpenAI的GPT-4这样的LLM为自动化和简化工作流程提供了令人鼓舞的方法，可以通过协助各种任务来实现。然而，持续运行这些AI模型的成本很高，这成为广泛使用的财务障碍，研究者们表示。
“我们的研究动机在于寻找在保持性能的同时降低成本的实际方法，使医疗系统能够大规模自信地使用LLM。我们着手对这些模型进行‘压力测试’，评估它们在同时处理多个任务时的表现，并确定既能保持高性能又能控制成本的策略。”Eyal Klang博士说道，他是D3M的生成式AI研究项目主任，也是该研究的第一作者。
该研究涉及使用真实患者数据测试10个LLM，考察每个模型对不同类型临床问题的响应。研究团队进行了超过30万次实验，逐步增加任务负载，以评估模型如何应对日益增长的需求。
除了测量准确性外，研究团队还评估了模型遵守临床指令的情况。随后进行了经济分析，结果显示，通过任务分组，医院可以在保持模型性能的同时降低AI相关成本。研究表明，通过将多达50个临床任务——如匹配患者参加临床试验、构建研究队列、提取流行病学研究数据、审查药物安全性和识别适合预防性健康筛查的患者——组合在一起，LLM可以同时处理这些任务而不会显著降低准确性。这种任务分组方法表明，医院可以优化工作流程并将API成本降低多达17倍，对于较大的医疗系统来说，每年可节省数百万美元，使高级AI工具更具财务可行性。
“认识到这些模型在高认知负载下开始挣扎的点对于维持可靠性和操作稳定性至关重要。我们的发现强调了在医院中整合生成式AI的实用路径，并为进一步调查LLM在现实世界限制内的能力打开了大门，”Nadkarni博士说。
研究者们指出，一个意外的发现是，即使是像GPT-4这样先进的模型，在被推向认知极限时也会显示出压力迹象。这些模型的表现不是出现小错误，而是在压力下周期性地不可预测地下降。
“这项研究对如何将AI整合到医疗系统中具有重要意义。为LLM分组任务不仅降低了成本，还节省了可以更好地用于患者护理的资源，”共同作者David L. Reich博士说。他是西奈山医疗系统的首席临床官，西奈山医院和西奈山皇后区医院的总裁，麻醉学的Horace W. Goldsmith教授，以及Icahn西奈山医学院的人工智能与人类健康和病理学、分子及细胞医学教授。“通过认识到这些模型的认知极限，医疗保健提供者可以在最大化AI效用的同时减轻风险，确保这些工具在关键的医疗环境中保持可靠的支撑。”
接下来，研究团队计划探索这些模型在实时临床环境中的表现，管理真实的患者工作负载并与医疗团队直接互动。此外，团队还计划测试新兴模型，看看随着技术的进步，认知阈值是否会改变，目标是建立一个可靠的医疗AI整合框架。最终，他们表示，他们的目标是为医疗系统配备能够在效率、准确性和成本效益之间取得平衡的工具，提升患者护理质量而不引入新的风险。
(全文结束)
