在一项新研究中,华盛顿大学研究人员指出医疗AI部署的关键标准——透明性,即通过多种方法阐明AI系统诊断和输出的决策路径。尽管生成式人工智能对医疗领域的影响引发热议,但AI已应用于药物研发、放射科诊断及临床记录等场景。近期针对2206名临床医生的调查显示,半数从业者已在工作中使用AI工具,多数人对AI提升医疗效率与精准度持乐观态度。
然而,AI系统仍存在算法漏洞、结果失真、隐私风险等伦理问题。9月9日发表于《自然-生物工程评论》的综述文章强调,医疗AI的透明性需通过数据来源公开、模型训练过程可视化等手段实现。
华盛顿大学新闻办公室采访了论文三位作者:共同第一作者金昌宇(Chanwoo Kim)与索姆·加迪尔(Soham Gadgil)(均为计算机科学与工程系博士生),以及通讯作者李素茵(Su-In Lee)教授(保罗·艾伦计算机科学与工程学院)。
医疗AI伦理讨论与通用AI伦理有何本质区别?
金昌宇:AI偏见与错误输出风险在医疗领域尤为关键,因其直接影响健康结果甚至生死决策。解决这些问题的基础是透明性——公开模型的数据来源、训练与测试过程。了解训练数据构成是识别偏见的起点,这种透明性可揭示偏见来源并指导系统性风险缓解。
李素茵:我们实验室的研究是最好的例证。新冠疫情期间,数百个宣称能通过胸部X光检测新冠的AI模型在数据集内达到99%-100%准确率,但在外部医院数据集中表现骤降。我们通过可解释AI技术揭示这些模型依赖X光图像角落的文本标记(如设备型号)做出判断。理想情况下,模型应聚焦影像本身。
论文提及"可解释AI"作为透明性实现路径,能否具体说明?
李素茵:可解释AI始于十年前对"黑箱"模型的解读需求。以银行贷款审批为例:传统黑箱模型仅输出结果,而可解释AI能展示决策依据(如年龄、信用分等特征权重)。这种方法称为"特征归因",是可解释AI的核心技术之一。
监管如何应对医疗AI风险?
金昌宇:美国FDA采用"作为医疗设备的软件"(SaMD)框架监管医疗AI。最新监管重点包括:明确模型设计用途(如具体病种诊断)、临床准确性验证标准,以及要求持续监测部署后的性能波动。当前测试基准仅强调模型表现,但我们的研究表明,即使测试优异的模型也可能在现实应用中失准。监管需引导开发者兼顾性能与透明性。
加迪尔:医疗AI开发者缺乏透明性激励机制。当前行业以基准测试排名论优劣,但这些测试无法反映模型是否会生成虚假信息。监管应推动透明性标准的建立。
临床医生在AI透明化中扮演什么角色?
金昌宇:临床医生是医疗AI透明化的核心。他们需要理解AI模型技术原理,至少掌握基础可解释AI技术,才能向患者解释AI诊断依据。这要求医学教育体系纳入AI解释能力培训。
加迪尔:我们实验室与临床医生合作研发时,他们会明确告知需要解释的模型部分,验证解释结果的临床适用性,最终判断这些解释对医患沟通的价值。
公众对AI透明性应了解哪些关键点?
李素茵:不应盲目信任AI输出。我们在另一项研究中审计五款皮肤癌检测APP,发现其诊断结果常不准确。通过新型可解释AI技术,我们证实这些模型依赖错误特征做出判断。
加迪尔:公众可采取基础验证步骤。例如使用生成式模型获取初步医疗信息时,应要求模型提供解释,并核查解释依据的来源可靠性。但涉及重大健康决策时,必须咨询专业医生。不应让聊天机器人判断是否心脏病发作。
【全文结束】