临床人工智能系统操作安全的定义
Young-Tak Kim¹, Hyunji Kim¹, Manisha Bahl¹, Michael H. Lev¹, Ramon Gilberto González¹, Michael S. Gee¹ & Synho Do¹,²,³
摘要
人工智能（AI）在临床应用中的重点一直是实现自动化，但传统的准确率指标无法回答一个关键问题：何时可以安全地信任AI系统？我们提出了安全感知接收器操作特性（SA-ROC）框架，将操作安全定义为达到预设可靠性水平的能力。SA-ROC曲线划定了规则纳入安全区和规则排除安全区（在这些区域中允许自主行动），以及灰色区域（在该区域中必须进行人工审核）。为了量化这种非自动化工作负载，我们引入了灰色区域面积（ΓArea）指标，用于衡量决策不确定性带来的操作成本。我们的框架揭示了一个关键反转：在对两种FDA批准的癌症筛查算法的案例研究中，统计上AUC更优的模型在高置信度筛查方面反而操作安全性较低。SA-ROC支持主动治理，将临床政策转化为优化的工作流程，为操作安全提供信息并补充监管安全评估。
数据可用性
支持本研究发现的数据可根据合理请求从通讯作者处获取。由于包含临床信息，数据访问需遵守机构规定和数据使用协议。所有请求将被评估以确保符合隐私和伦理标准，符合条件的研究人员可为非商业学术用途获取访问权限。
代码可用性
用于实现SA-ROC框架的代码已公开发布。该代码使用Python 3.9编写。
【全文结束】
