医疗AI系统的开发与透明度挑战。资料来源：Nature Reviews Bioengineering (2025). DOI: 10.1038/s44222-025-00363-w
当关于生成式人工智能如何改变工作的争论持续时，AI已在改变医疗保健领域。AI系统正被应用于从药物发现到放射科诊断任务及临床记录等各个方面。最近一项针对2206名临床医生的调查显示，大多数人对AI提升医疗效率和准确性的潜力持乐观态度，近半数受访者已在工作中使用AI工具。
然而AI仍存在漏洞、幻觉、隐私顾虑等伦理困境，将其用于敏感且影响重大的医疗工作面临重大风险。华盛顿大学研究人员于9月9日发表在《自然评论生物工程》上的综述文章指出，医疗AI部署的关键标准是透明性——即通过多种方法阐明医疗AI系统得出诊断和输出结果的过程。
华盛顿大学新闻采访了该论文的三位作者，共同第一作者金灿宇（音译）和索姆·加德吉（音译）均为保罗·艾伦计算机科学与工程学院博士生，资深作者李素茵（音译）教授。
医疗人工智能伦理讨论有何特殊性？
金：AI系统内建的偏见和错误输出风险是关键问题，尤其在医疗领域，这些缺陷可能直接影响人类健康并决定改变生命轨迹的结果。
解决这些问题的基础在于透明性：公开模型构建所使用的数据、训练和测试过程。了解AI模型是否存在偏见始于理解其训练数据。这种透明性带来的洞察能揭示偏见来源并提供系统性缓解路径。
李：我们实验室的一项研究就是典型案例。新冠疫情高峰期，涌现出大量通过胸部X光预测患者是否感染新冠的AI模型。我们的研究表明，数百个这类模型存在错误：在某些数据集中声称准确率接近100%或99%，但在外部医院数据集中准确率骤降。
这表明AI模型无法在真实临床环境中泛化。我们使用技术揭示了模型依赖捷径的机制：X光图像角落有时存在不同文本标记，这些模型正是利用这些标记得出错误结果。理想情况下，模型应专注于分析X光图像本身。
什么是可解释性AI？
李：可解释性AI领域始于约十年前，当时人们试图解读新一代复杂"黑箱"机器学习模型的输出。
举例说明：假设银行客户想了解是否能获得贷款。银行将使用该人的年龄、职业、信用评分等数据输入模型，预测其能否偿还贷款。"黑箱"模型仅展示结果，但若模型能展示决策因素，用户就能理解推理过程。这就是可解释性AI的核心理念：帮助人们更好地理解AI决策过程。
我们在综述中详细解释了多种方法。银行案例中采用的称为"特征归因"方法，即把输出结果归因于输入特征。
监管如何应对医疗AI风险？
金：在美国，FDA通过"软件即医疗器械"(SaMD)框架监管医疗AI。近期监管重点是建立透明性执行框架，包括明确AI设计用途（具体使用场景）、准确度标准及真实临床环境中的限制，这些都取决于对模型工作机制的理解。
此外，医疗AI用于动态变化的临床环境，其性能可能波动。近期监管还要求对部署期间的医疗AI模型进行持续监测。
加德吉：新医疗设备或药物需经过严格测试和临床试验才能获得FDA批准。AI系统需要类似的严格测试和标准。我们实验室的研究表明，即使某些模型在测试中表现良好，也未必能在真实世界中有效应用。
我认为许多开发机构缺乏推动透明性的动机。当前范式是：若模型在特定基准测试中表现优异（即AI机构用于对比或排名的特定标准化公开测试），就认为其足够好且易于推广。但这种范式存在缺陷，因为这些模型仍可能产生幻觉和错误信息。监管可激励模型性能与透明性的双重关注。
临床医生在推动AI透明性中的作用？
金：临床医生对实现医疗AI透明性至关重要。若医生使用AI模型辅助诊断或治疗，作为对患者健康最终负责的一方，他们有责任解释模型预测的原理。因此医生需要熟悉AI模型技术及基础可解释性AI技术，至少能向患者解释模型机制。
加德吉：我们实验室多数生物医学研究项目都与临床医生合作。他们为我们提供应着重解释的见解，判断可解释性AI方案是否正确、是否适用于医疗保健，并最终评估这些解释对医生和患者是否实用。
公众应了解的AI透明性要点？
李：我们不应盲目信任AI的行为。聊天机器人有时会幻觉，医疗AI模型也会犯错。去年另一项研究中，我们审计了五款可通过应用商店获取的皮肤科AI系统。当发现皮肤异常时，用户拍照即可获知是否为黑色素瘤。
我们的研究表明，结果准确性经常不达预期，类似于新冠AI系统问题。我们使用新型可解释性AI技术展示了这些系统失败的具体原因。
加德吉：批判性使用AI的第一步可以很简单。例如，若某人使用生成模型获取轻微疾病的初步医疗信息，可要求模型自行提供解释。尽管解释可能看似合理，但不应轻信。若解释指向具体来源，用户应验证来源可信度并确认信息准确性。
对于可能产生重大影响的情况，必须由临床医生介入。你绝不应向ChatGPT询问自己是否正在心脏病发作。
更多信息：Chanwoo Kim等，《Nature Reviews Bioengineering》(2025). DOI: 10.1038/s44222-025-00363-w
【全文结束】
