在这项研究中，我们调查了计算机视觉AI算法在使用短视频片段预测急诊科（ED）患者去向方面的性能。医生通常会通过“眼观”或临床直觉来辅助分诊，基于简短的观察。我们假设AI可以通过患者的外貌来进行去向预测。数据来自一所学术急诊科的成人患者，使用移动电话视频捕捉患者进行简单任务的过程。我们的AI算法仅使用视频，显示出比使用分诊临床数据的模型更好的住院预测性能（AUROC=0.693 [95% CI 0.689, 0.696]），而结合视频和分诊数据的模型达到了最高的预测性能（AUROC=0.714 [95% CI 0.709, 0.719]）。本研究表明，视频AI算法有潜力支持急诊科分诊，缓解高需求期间的医疗能力紧张。
摘要
近年来，计算机视觉研究在各种医学应用中取得了显著进展。利用AI算法，医学视频已被用于患者监测，包括临床活动3、步态分析4,5、评估跌倒导致的儿童头部受伤6、评估帕金森手部运动及疾病严重程度7,8，以及检测认知障碍9。此外，医学视频技术在帮助医务人员完成多种任务方面也显示出潜力，包括手卫生检测10和通过视频分析进行手术评估11,12。
尽管取得了这些进展，但一个重要的领域仍未得到充分探索，即使用医学视频AI进行患者分诊。在分诊和急诊科就诊过程中，医生根据当前问题、生命体征、预期病程、患者资源及其对患者状况的观察（通常称为“临床直觉”）来确定患者的去向，如住院或出院13,14,15。值得注意的是，一项研究表明，急诊科医生可以在30秒内观察患者，并结合常规可用的分诊信息（如生命体征、到达方式（例如救护车）和主要投诉）达到80%的去向预测准确率13。
虽然医生的判断很有价值，但在繁忙的急诊科，医生可能无法在分诊时立即到场。现有的系统如紧急严重指数（ESI）可以提供关于患者急性度的见解，但并非设计用于在分诊时预测患者的去向。基于AI的预测模型可以提供一种更一致、客观、成本效益更高且可扩展的解决方案，以实时优化患者流动和资源分配。
我们假设移动电话视频AI算法可以从患者的临床外貌中提取有价值的见解，从而预测其去向，有效地模仿临床直觉。成功实施这种分诊算法可以缓解急诊室过度拥挤的问题，尤其是在病毒季节高峰期和大流行期间。此外，它可以使医疗系统更高效地分配有限的资源，并在未来优先安排紧急患者的远程医疗访问17。有效管理医院容量和人员配置是医疗系统的重要挑战。床位供应与患者需求之间的不平衡，以及人员配置要求，会影响医院的可及性、等待时间、护理质量和整体满意度18。当床位供应超过需求时，会导致不必要的成本，因为资源未被充分利用。另一方面，当需求超过可用床位时，会导致更长的等待时间，特别是对于等待入院的急诊科患者，降低护理质量，增加错误风险，降低患者和工作人员的满意度，在极端情况下甚至需要将患者转至其他医院。早期预测去向可以帮助平衡这些问题，改善患者流动和资源使用。
研究表明，使用分诊和电子健康记录（EHR）中收集的数据的机器学习模型可以有效预测急诊科患者的去向，包括住院和重症监护需求19,20,21,22,23,24,25,26,27。各种算法，如逻辑回归、随机森林、梯度提升和深度神经网络，已被使用，其中梯度提升和深度神经网络通常表现出更好的性能19,27。
然而，许多这些模型依赖于EHR中的历史患者数据，如过去的急诊科就诊或住院记录20,23,24，或过去的诊断19,20,21,23,24,26。这种对历史数据的依赖提出了挑战，特别是在新加入医疗系统或在数据不完整或有限的系统之间转换的患者中。此外，EHR基础模型的应用可能在发展中国家受到限制，因为这些国家尚未广泛采用EHR系统。
一些现有模型还纳入了ESI，这是一种常用的5点分诊评分系统28,29，作为预测因子22,23,24,27。尽管ESI评分有用，但它们仍需要分诊人员根据患者的症状、生命体征和严重程度及资源需求的临床判断手动输入。这种对人工输入的依赖限制了算法减轻分诊负担的潜力。
本研究旨在评估仅使用短移动电话视频片段捕捉患者的临床外貌（图1）和有限的临床数据（年龄、性别、生命体征、疼痛水平和主要投诉），而不依赖EHR中的历史患者数据的多模态AI算法的预测性能。我们将多模态模型（图2）的性能与基于逻辑回归使用ESI分诊评分的参考模型以及仅使用视频数据或仅使用分诊数据的简化版本进行了比较。这是实现长期目标的第一步，即开发一种无需EHR集成即可在院前环境中采用的基于视频的AI分诊工具。
结果
患者特征
我们在2021年8月至2022年9月期间在斯坦福医疗保健急诊科共接触了843名成年患者，其中723名患者参与了研究。参与患者的中位年龄为52岁（四分位数范围[IQR] 33-76），女性占51%（表1）。几乎所有患者（超过95%）都获得了2或3的ESI分诊评分，40.9%的患者随后被收入院（住院或医院观察）。97名患者的疼痛水平数据缺失，2名患者的体温数据缺失，1名患者所有生命体征数据缺失。最常见的主要投诉是腹痛（16.5%），其次是胸痛（8.0%）、呼吸困难（5.5%）和头晕（3.9%）（表1）。
模型性能
仅使用视频数据的模型在住院预测方面的表现优于仅使用分诊临床数据的模型，多项指标包括AUROC（0.693 vs 0.678）、PPV（0.563 vs 0.529）和特异性（0.658 vs 0.587）均优于后者。仅使用视频数据的模型和仅使用分诊数据的模型在AUPRC（0.608 vs 0.603）和NPV（0.721 vs 0.716）方面相当，而敏感性（0.632 vs 0.658）在仅使用分诊数据的模型中更好。
结合视频和分诊数据的模型表现最佳，AUROC达到0.714（95% CI: 0.709-0.719），AUPRC达到0.642（95% CI: 0.636-0.649）。更多性能细节见图3、图4和补充表1。值得注意的是，所有模型在特异性方面都有所提高，但与参考ESI模型相比有所下降。
讨论
医生本能地利用与患者的互动中的视觉线索来评估疾病的严重程度。这通常被称为“眼球测试”或“床脚测试”，涉及从患者的病床脚端观察患者。类似地，使用视觉AI，当要求患者执行简单任务时，可以通过视频信号单独预测住院。我们的研究结果表明，移动电话视频数据包含有价值的住院预测信息，AUROC为0.693。有趣的是，仅使用分诊数据（包括使用医疗设备（如脉搏血氧仪和血压计）由医疗专业人员评估的生命体征）的AUROC为0.678。当视频AI与分诊数据结合时，AUROC增加到0.714。我们的结果表明，短视频片段可能捕获了被AI算法检测和利用的“临床直觉”。
我们的研究展示了使用患者短视频片段预测其急诊科去向的潜力。令人意外的是，考虑到生物特征数据（如生命体征）在临床风险评估中的重要性，仅使用视频的模型表现优于仅使用分诊数据的模型。一种可能的解释是，视频数据隐含地编码了某些生物特征参数，如呼吸频率和心率31,32，并且还包括患者痛苦的标志和呼吸模式及不适动作的变化。
其他机器学习模型已开发用于从急诊科预测住院19,20,21,22,23,24,25,26,27，但没有一个模型利用了患者视频数据。随着配备摄像头的智能移动设备的广泛可用，视频数据可能在医疗环境中越来越容易为患者和提供者获得。与许多依赖历史EHR数据的模型不同，我们的多模态AI算法仅使用常规可用的分诊数据（年龄、性别、生命体征、疼痛水平和主要投诉）。因此，该预测模型不需要与现有的EHR系统集成，使其更容易部署。它也可以在没有EHR系统的国家或地区使用。与Raita等人的研究19或Hong等人的研究24不同，我们没有将到达急诊科的方式作为协变量，尽管它是已知的住院强烈预测因子33，因为我们的目标是开发一种能够在患者到达医院之前促进去向决策的算法。
本研究存在若干局限性。我们的结果变量是由急诊科医生为每位患者做出的住院决定。急诊科医生可能会根据患者的病情严重程度、患者资源（如家中有无看护人员、无家可归或交通方式）、实践风格差异以及临床恶化的主观风险评估等因素在住院决定上有所不同34,35,36。这种变异性内在地设定了AI算法在预测住院方面的上限。此外，视频来自单一学术机构，从AI训练的角度来看，数据集相对较小。我们预计，随着来自各种医疗环境的更大、更多样化的数据集，预测性能将有所提高。接下来，本研究的患者群体病情更重（只有3.6%的患者ESI为4或5），并且我们限制了报名对象为能提供知情同意的英语或西班牙语患者，这可能无法推广到其他急诊科人群。我们注册队列的住院率为40.9%，略高于斯坦福急诊科的整体住院率33.1%。这种差异可能是由于一些低危患者因简单问题（如拆线）接受治疗并迅速出院，研究助理未能及时获得同意所致。除此之外，我们的队列仍然代表了斯坦福急诊科的整体人群，具有相似的ESI分布，大多数患者被归类为ESI 2和3。
此外，我们的算法未纳入音频或额外的EHR数据元素，如既往病史、既往住院记录或其他社会健康决定因素（如健康素养、无家可归等），这些因素可能会进一步提高性能24。我们的实验代表了一种患者新加入医疗系统的情景，仅使用常规收集的分诊信息（即生命体征、疼痛水平和主要投诉）提供了算法性能的基线。最后，我们没有直接将医生的直觉与我们的AI算法进行比较，因为这增加了研究设计的复杂性和与90多名主治医师的协调，但这将是未来研究的一个有价值的方向。
由于常规记录患者的临床外貌不是标准做法，这项研究揭示了若干后勤和伦理挑战。后勤方面，研究团队必须获得机构信息技术办公室的批准，以确保所有录制设备和安全视频数据存储基础设施符合机构标准。除了获得IRB批准外，我们还寻求医院隐私办公室的审查，以确保完全遵守机构政策。在研究初期，我们认识到避免无意中录制患者房间内的医院工作人员的重要性，以保护他们的隐私。为此，我们的研究助理接受了广泛的培训，不仅学会了如何操作录制设备，还学会了如何最小化对临床工作流程的干扰。
伦理方面，一个关键问题是视频录制可能捕捉到敏感情况，如患者痛苦或意外的临床事件。获得患者的知情同意至关重要，他们必须了解其视频数据的用途以及分享此类敏感信息的风险。患者还可以选择在急诊科就诊后请求删除其数据，认识到情况的压力可能导致他们改变主意。未来的研究应通过建立明确的协议来解决这些挑战，这些协议优先考虑患者的隐私和安全，同时遵守机构和监管标准。
尽管存在这些挑战，视频AI研究的进步为未来的分诊工作流程提供了有希望的机会。在未来的场景中，患者可以在配备移动设备的自助服务终端签到，通过短暂的视频录制结合生命体征测量来辅助分诊。或者，患者可以使用自己的移动设备远程提供类似的信息，这可能简化分诊过程，并将低风险患者分流到远程医疗服务进行最终处置。在患者人数过多、疾病暴发以及国内外服务不足地区，增加适当的医疗可及性尤为重要。视频AI创新有潜力缓解医疗能力紧张——为患者提供适时、适当的护理。
(全文结束)
