1. 引言
颅内出血(ICH)是一种危及生命的神经系统急症,也是中风的第二大常见类型,与高死亡率和严重功能障碍相关。每年全球约有200万人受到ICH影响。病例死亡率在35%至52%之间,近一半的死亡发生在发病后24小时内。随着全球人口老龄化、久坐生活方式增加以及抗凝血治疗的广泛应用,ICH的发病率持续上升,成为日益严重的公共卫生挑战。
头部非增强CT(NCCT)仍是诊断ICH的主要影像工具。然而,在急诊科(ED)和医院中,及时解释NCCT扫描可能具有挑战性。许多机构难以提供连续的院内放射学覆盖,特别是在夜间和神经放射学等亚专科领域。因此,头部NCCT的初步解释通常由放射科住院医师、非放射科医师或远程放射学服务完成。通过实时或近实时分析,远程放射学确保了连续覆盖和更快的响应,这在重症监护环境中尤为关键。将图像生成、传输、查看和解释的关键步骤分开,使国际远程放射学成为可能,无缝连接转诊中心和全球放射科医师。然而,远程放射学引入了一个额外的关键步骤:影像数据必须首先从医院PACS传输到远程放射学PACS网络。根据商定的周转时间(TAT),远程放射科医师解释研究并将结构化报告发送回转诊医院。
当与AI结合时,远程放射学为持续存在的放射科医师短缺提供了一种可扩展、可持续的解决方案,加速了急诊放射学检查的解释。在对快速和精确诊断需求日益增长的时代,AI驱动的远程放射学可能有助于转变医学影像的解释及其在整个医疗系统中的可及性。然而,AI在远程放射学工作流程中的整合仍然具有挑战性,主要是因为大多数现有平台最初并未设计为容纳AI技术。改造这些系统通常需要自定义API(应用程序编程接口),由于不兼容的遗留平台、高基础设施成本、数据安全问题和监管限制,引入了额外的技术复杂性。
评估AI对ICH检测放射学工作流程真实效用的研究仍然有限,结果不一致。已报告的重大改进包括减少报告周转时间(RTAT)和缩短急诊和住院患者的住院时间(LOS)。然而,专门评估将AI驱动工具集成到远程放射学工作流程中对ICH检测诊断TAT影响的研究缺失。
本回顾性研究旨在评估将CE认证和FDA批准的AI软件CINA-ICH(Avicenna.AI,法国拉西奥塔)集成到远程放射学工作流程中,用于NCCT扫描中ICH的检测和主动优先排序的益处。主要目标是确定其整合到远程放射学工作流程中是否能显著减少PACS到评估时间(PTAT)。
2. 材料与方法
2.1 数据收集
本研究是根据1975年赫尔辛基宣言(2013年修订)进行的。在研究者评估之前,所有数据均按照HIPAA和通用数据保护条例(GDPR)(EU) 2016/679进行匿名处理。根据国家立法和机构协议,当认为必要时,知情同意书被豁免。
从2020年6月(第1组:AI集成前)和2021年6月(第2组:AI集成后)回顾性、连续收集了来自主要急诊远程放射学提供商(Telediag,法国里昂)的疑似自发性和/或创伤性出血入院患者的匿名非增强头部CT(NCCT)扫描。该数据集涵盖56个临床站点,包括急诊科和住院服务。它包括在三个主要制造商的扫描仪上获取的CT检查,代表10种不同的扫描仪型号:6种来自GE医疗系统(美国伊利诺伊州芝加哥),1种来自飞利浦(荷兰阿姆斯特丹),3种来自西门子(德国柏林)。
如果患者满足以下标准,则被纳入:(1)年龄≥18岁,(2)非增强头部CT检查,(3)切片厚度≤5 mm,(4)轴向采集,(5)使用软组织内核重建。如果扫描(1)不符合AI设备最佳使用的推荐采集协议,(2)包含影响NCCT临床解释的重大伪影,或(3)用于非紧急适应症(例如,随访或常规控制扫描),则被排除。
2.2 参考标准
两名专门从事神经放射学的董事会认证放射科医生(A.B.S和F.C),分别具有3年和15年以上的放射学临床实践经验,仅审查了AI实施组的NCCT图像。主要放射科医生(A.B.S.)评估NCCT扫描以确定ICH的存在或不存在,建立参考标准。AI专门开发用于识别急性ICH发现,因此发现的慢性ICH被归类为阴性病例。记录了任何观察到的混淆因素,如术后出血/水肿、慢性血肿、血管或肿瘤相关高密度(例如,脑膜瘤样结构、伴有出血的转移性肿瘤、鼻窦出血)。
当主要放射科医生的评估与临床报告结果存在差异时,第二位专家放射科医生(F.C)进行独立审查,最终参考标准由多数共识确定。
2.3 ICH的AI算法
本研究使用了FDA批准和CE认证的商用DL驱动的ICH检测和优先排序分诊工具CINA-ICH v1(Avicenna.AI,法国拉西奥塔)。该应用程序自动处理NCCT扫描,旨在立即标记疑似发现(如果存在),连同相应的二级捕获信息并生成警报通知。随后,根据其阳性或阴性分类,病例在放射科医生的工作列表中被优先考虑。该软件检测并定位5种ICH亚型:脑实质内出血(IPH)、蛛网膜下腔出血(SAH)、脑室内出血(IVH)、硬膜下血肿(SDH)和硬膜外血肿(EDH)。AI工具不提供定量出血量和中线移位测量。CINA-ICH的操作基于用于ICH检测和分割的定制3D/2D混合卷积神经网络架构。在此实现中,512 x 512 x 512的3D输入矩阵被映射到不同分辨率的2D输出矩阵,以匹配矩阵维度。CINA-ICH在来自35种头部NCCT扫描仪(美国)的8994例ICH病例上进行了训练,这些病例采集于2014年11月至2018年5月。该软件的性能已在来自41种扫描仪类型的814例病例上进行评估,这些病例来自250多个美国中心,显示出95.6%的准确率,91.4%的敏感性和97.5%的特异性。该软件专门在成人患者(≥18岁)和所有ICH亚型上进行测试、验证和训练。
2.4 研究设计
进行了一项回顾性、多中心、多供应商完全交叉研究,以评估CINA-ICH在真实世界远程放射学网络中的临床功效。该研究包括两个阶段:AI集成前阶段(在AI集成之前),在此阶段,特定的NCCT扫描池由远程放射科医生使用标准临床实践在没有AI辅助的情况下进行解释;以及AI集成后阶段(在AI集成之后),在此阶段,AI生成的输出被集成到临床工作流程中,以协助在单独的、可比较的NCCT数据池中检测ICH。在这两个阶段,NCCT扫描首先传输到远程放射学PACS,由远程放射科医生分析,独立(AI前)或有AI辅助(AI后)。一旦放射科医生完成解释,最终报告被传回医院PACS供临床使用。尽管这种远程放射学工作流程引入了一个额外的图像传输步骤,但它使得在院内覆盖有限时能够访问远程放射科医生,从而支持急诊检查的及时解释,特别是在非工作时间期间。
在AI后阶段,AI工具在图像传输到远程放射学PACS后立即集成到远程放射学工作流程中。一旦非增强头部CT检查被远程放射学PACS接收,研究会自动路由到CINA-ICH进行分析,无需放射科医生手动激活。该算法分析轴向NCCT系列,并生成二元案例级输出,指示是否怀疑急性ICH。对于AI阳性病例,生成视觉结果作为二级捕获图像,并在常规审查期间提供给解释放射科医生,提供辅助决策支持信息。这些AI输出不会自动插入到放射学报告中。最终诊断和签署报告完全由放射科医生负责。因此,在此工作流程中,AI系统作为辅助工具,支持早期识别疑似ICH。
研究的主要终点是PACS到评估时间(PTAT)—定义为扫描在远程放射学PACS上可用与最终放射学报告在医院PACS上签名之间的时间间隔。PTAT在两个阶段之间进行了统计比较,包括所有病例、ICH阳性病例和夜间病例。次要终点,报告周转时间(RTAT),定义为从NCCT采集完成到医院PACS上可用签名放射学报告之间经过的时间。此指标在研究的两个阶段(AI前和AI后)之间进行了比较,以评估AI集成对报告效率的整体影响。
2.5 统计分析
使用独立样本t检验比较AI前和AI后阶段的患者特征,用于连续变量,使用皮尔逊卡方检验或Fisher精确检验用于分类变量。对于违反正态性假设的连续变量,采用非参数Mann–Whitney U检验作为t检验的替代方法。p值小于0.05被认为具有统计学意义。
通过将CINA-ICH在AI后阶段的输出与参考标准记录的结果进行比较,评估了CINA-ICH的性能。评估了包括准确率、敏感性、特异性、阳性预测值(PPV)和阴性预测值(NPV)在内的关键性能指标。使用Clopper-Pearson方法计算95%置信区间(95% CI)。
对于工作流程效率,主要终点,PACS到评估时间(PTAT),计算为:
PTAT(分钟)= 签署报告日期 - 扫描T-PACS日期
其中PTAT定义为扫描在远程放射学PACS上可用与最终放射学报告由解释放射科医生签名并可在医院PACS上获得之间的时间间隔(以分钟为单位)。
次要终点,报告周转时间(RTAT),计算为:
RTAT(分钟)= 签署报告日期 - 研究完成日期
其中RTAT表示从影像研究开始到最终放射学报告完成时间(以分钟为单位)。
使用适合数据分布的测试评估AI前和AI后阶段之间PTAT和RTAT的统计差异。对于违反正态性假设的变量,应用Wilcoxon-Mann-Whitney检验,而正态分布的连续变量则使用独立样本t检验进行分析。双侧p值小于0.05(α≤0.05)被认为具有统计学意义。所有统计测试均为双侧,并使用MedCalc统计软件(v22.023,MedCalc Software Ltd.,比利时奥斯坦德)进行。
3. 结果
本研究共纳入572名患者,283次NCCT扫描在AI集成前收集,289次NCCT扫描在CINA-ICH集成到56个临床中心的放射学临床工作流程后收集。
在AI前阶段,283次NCCT扫描中,35名患者被归类为ICH阳性,248名患者被归类为ICH阴性(12.37%的患病率,57.24%为女性,平均年龄70.07岁±21.42[SD])。在这248例阴性病例中,5例被认为是阴性,但报告了慢性ICH的存在。
在AI后阶段,共检查和解释了289名患者(12.80%的患病率,44.98%为女性,平均年龄65.83岁±23.53[SD])。其中,37名被归类为ICH阳性,252名被归类为ICH阴性。该研究基于估计的10% ICH阳性检查患病率,两个阶段之间的患病率没有显著差异(p=0.87)。然而,性别和平均年龄观察到统计学差异(p<0.05)。
3.1 AI诊断性能
在AI后阶段,CINA-ICH对参考标准的敏感性为97.30%(95% CI:85.84-99.93%),特异性为96.03%(95% CI:92.82-98.08%),准确率为96.19%(95% CI:93.2%-98.1%)。具体而言,242例被正确识别为真阴性(TN),NPV为99.59%(95% CI:97.3-99.99%),而36例被正确归类为真阳性(TP),PPV为78.26%(95% CI:63.64-89.05%)。
该软件错误分类了总共11例。其中,1例(2.7%)为假阴性(FN),归因于细微的(小于3 mL)蛛网膜下腔出血,10例(3.97%)为假阳性(FP),由各种因素引起,包括慢性中风(n=1)、图像伪影(n=3)、高密度镰状脑膜(n=1)、高密度静脉窦(n=2)、脑膜瘤(n=1)和未知原因(n=2)。
3.2 PACS到评估时间(PTAT)分析
在临床工作流程中实施AI之前和之后,评估了平均PACS到评估时间(PTAT)。在AI前阶段(n=283),平均PTAT为58.58分钟(中位数:39分钟,SD:76.19分钟,95%CI:49.67-67.50分钟)。在AI后阶段(n=289),平均PTAT减少至44分钟52秒(中位数:25分钟,SD:65.48分钟,95%CI:37.28-52.44分钟)。两个研究阶段之间平均PTAT的减少为13.72分钟(中位数:-8.00分钟,SD:70.98分钟,95%CI:2.06-25.38),且具有统计学意义(p=0.0002)。
当比较AI前阶段中被放射科医生识别的阳性病例与AI后阶段中由参考标准和AI确认的真阳性病例时,也观察到平均PTAT的减少。在AI前阶段(n=35),平均PTAT为61.48分钟(中位数:28分钟;SD:99.14分钟;95% CI:27.43-95.54分钟)。在AI后阶段(n=36),平均PTAT减少至30.05分钟(中位数:19.5分钟;SD:30.51分钟;95% CI:19.73-40.38分钟)。AI的实施导致平均PTAT减少31.43分钟(中位数:-4分钟;SD:-72.90分钟;95% CI:-65.95,-3.09分钟),然而,差异不具有统计学意义(p=0.29)。
当仅分析夜间(晚上8:00至早上8:00)接收的病例(包括阳性和阴性)时,在AI实施后观察到平均PTAT的统计学显著减少。在AI前阶段(n=131),平均PTAT为43.68分钟(中位数:39分钟;SD:33.87;95% CI:37.83-49.54)。在AI后阶段(n=118),平均PTAT为33.52分钟(中位数:25分钟;SD:22.44;95% CI:28.15-38.88)。这反映了平均PTAT减少10.17分钟(中位数差异:-8分钟;SD:31.85;95% CI:-18.13至-2.20),(p=0.0023)。
基于临床表现的ICH阳性病例的事后探索性亚组分析显示,PTAT和RTAT的减少在非创伤性病例中更为明显(平均PTAT:-35.2分钟;平均RTAT:-31.3分钟)。
3.3 报告周转时间(RTAT)分析
还评估了两个研究阶段的报告周转时间(RTAT)。在AI集成后,观察到总体平均RTAT的统计学显著减少(p<0.01)。在AI前阶段(n=283),平均RTAT为95.28分钟(中位数:62分钟;SD:102.03分钟;95%CI:83.34-107.22分钟)。在AI后阶段(n=289),平均RTAT减少至68.67分钟(中位数:46分钟;SD:73.57分钟;95%CI:60.15-77.19分钟)。两个研究阶段之间平均RTAT的减少为26.62分钟(中位数:-13分钟;SD:-88.80分钟;95%CI:-41.20,-12.03)(p=0.0001)。
当专注于阳性病例时,平均RTAT也减少了,将AI前阶段中被放射科医生识别的病例与AI后阶段中由AI和参考标准确认的真阳性病例进行比较。在AI前阶段(n=35),平均RTAT为78.85分钟(中位数:49分钟;SD:101.94分钟;95%CI:43.83,113.88分钟)。在AI后阶段(n=36),平均RTAT减少至53.88分钟(中位数:42.5分钟;SD:42.07分钟;95%CI:39.29,67.76分钟)。两个研究阶段之间平均RTAT的减少为25.55分钟(中位数:-5分钟;SD:77.58分钟;95%CI:-62.07,-11.41)(p=0.53)。
在夜班期间(晚上8:00至早上8:00),AI引入后RTAT有明显改善。在AI前阶段,所有病例的平均RTAT(n=125)为82.04分钟(中位数:58分钟;SD:81.56;95% CI:67.60-96.47)。AI实施后,平均RTAT降至56.56分钟(n=110;中位数:45.5分钟;SD:47.09;95% CI:47.66-65.46)。这代表了平均RTAT统计学显著减少25.48分钟(中位数差异:-13分钟;SD:67.66;95% CI:-42.90至-8.05;p=0.0044)。
4. 讨论
这项回顾性、多中心、多供应商完全交叉研究表明,将深度学习AI工具CINA-ICH集成到远程放射学工作流程中显著减少了PTAT,同时保持了高诊断准确性。该数据集涵盖了56个临床中心和三个主要扫描仪制造商(GE Healthcare 56.3%,Philips Healthcare 34.1%,Siemens Healthineers 9.6%),与真实世界远程放射学实践一致,降低了因单一扫描仪平台导致的性能偏差风险。AI表现出强劲性能,敏感性为97.30%,特异性为96.03%,准确率为96.19%,NPV为99.59%。高NPV在急诊和高吞吐量环境中特别有价值,因为可靠地排除ICH有助于优先处理紧急病例。唯一的假阴性(2.7%)涉及小于3 mL的细微蛛网膜下腔出血,突显了检测小体积出血的挑战,即使是人类读者也难以察觉,这是区分最小密度变化的已知限制。PPV为78.26%,大多数假阳性(3.97%)由非出血性高密度引起,如慢性梗死、伪影或解剖模拟(例如,高密度镰状脑膜、静脉窦或脑膜瘤),这强化了在模糊情况下需要人工监督的必要性。
衡量将AI驱动的深度学习架构集成到远程放射学工作流程中的临床影响的主要指标是PTAT。AI的实施导致所有病例的平均PTAT显著减少13.72分钟。这种效果在夜间期间持续存在,减少了10.17分钟,突显了该工具在放射科医生资源有限时加速关键评估的价值。在ICH阳性病例中,观察到平均PTAT显著减少31.43分钟。尽管由于样本量小和AI前阶段变异性高(SD:99.14分钟),这种差异在统计学上不显著,但改进的幅度表明具有临床意义的益处。
RTAT是本研究的次要终点。RTAT捕捉整个诊断工作流程,从影像开始到最终报告,提供了护理效率的综合衡量标准。AI实施后,平均RTAT总体显著减少约26分钟,在夜间也观察到类似的25.48分钟减少。这些结果与先前研究表明AI加速ICH检测和报告一致。
将CINA-ICH AI工具集成到远程放射学工作流程中显著提高了效率,减少了PTAT和RTAT。这些收益在高容量、资源有限和地理分散的环境中特别有价值,其中延迟可能会恶化结果。在ICH等时间敏感的情况下,每分钟的节省都可以改善生存率并减少发病率。AI还减少了急诊科住院时间,减轻了系统压力,并支持更快的患者周转,这些因素与降低成本和改善医院运营相关。在远程放射学网络中,图像获取和解释之间的距离被AI作为智能桥梁,确保无论位置如何都能及时审查关键病例。
这项研究有几个局限性。首先,其回顾性设计限制了建立因果关系的能力,因为PTAT和RTAT的改进也可能反映了其他工作流程变化。其次,该研究评估了工作流程效率终点,而不是直接临床结果。关于从扫描采集到神经外科咨询、转移、干预、血肿清除、重症监护入院、死亡和功能恢复的时间数据不可用。此外,AI生成的假阳性仍然是一个关注点,突显了继续算法改进的必要性。
5. 结论
CINA-ICH集成显著减少了PTAT和RTAT,展示了明确的工作流程效益。虽然由于伪影和解剖变异发生了一些误分类,但总体性能支持AI在加速放射学诊断和潜在支持早期决策方面的作用。通过在多样化数据集上继续算法改进和训练,将提高准确性和通用性。随着AI的成熟,其通过更快、更可靠的护理转变放射学的潜力将取决于在各种临床环境中进行的稳健验证。
机构审查委员会声明
本研究是根据赫尔辛基宣言进行的。在研究者评估之前,所有数据均按照HIPAA和GDPR法规进行匿名处理。根据国家立法和机构协议,在数据转移给Avicenna.AI之前,当认为必要时,知情同意书被豁免。研究者无法确定患者的身份或私人数据。研究者无法访问编码数据的密钥。因此,数据被认为无需机构审查委员会批准。
数据可用性声明
研究数据归Avicenna.AI所有,不公开。可根据合理请求并获得Avicenna.AI法规事务部批准,从通讯作者处获取。
【全文结束】

