人工智能模型——例如用于癌症检测的模型——是基于患者的健康数据进行训练的。即使仅仅是个人数据被纳入模型这一事实，如果这些信息落入错误的人手中，也可能对受影响者产生负面影响。《自然》杂志近日刊登的一项研究显示，使用正确的方法，这些敏感信息可以从模型中被提取出来的效率远高于此前认为的水平。
慕尼黑工业大学(TUM)、伦敦帝国理工学院和哈索·普拉特纳研究所(HPI)的研究人员证明，先前对AI模型安全性的评估存在误导性。旨在确定个人数据是否用于训练模型的攻击被称为成员推理攻击(MIAs)。到目前为止，常见的医疗AI模型被认为对MIAs基本上是安全的。
"不幸的是，先前的风险评估只测量了所有患者的平均风险。我们首次在个体患者层面考察了风险——结果呈现出非常不同的画面，"该研究的第一作者、TUM研究员莫里茨·克诺勒(Moritz Knolle)表示。虽然对大部分数据集的攻击都未成功，但某些患者可以与模型以近100%的确定性关联起来。"这不是可以容忍的风险。健康数据高度敏感，"TUM医疗与医学人工智能教授、该研究的高级作者之一丹尼尔·吕克特(Daniel Rückert)教授说。
测试不同数据类型
研究人员基于七个已建立的医疗数据集对模型进行了攻击。每个模型依赖于不同类型的数据，如影像数据、心电图或电子健康记录。"攻击者要实施MIA需要三样东西，"哈索·普拉特纳研究所数字健康：以人为本的变革性AI教授格奥尔格·凯西斯(Georg Kaissis)解释道。"首先，访问目标AI模型的权限，例如通过医院网络。其次，访问他们想知道是否包含在模型中的数据点，例如通过网络攻击获得的数据。第三，他们自己的AI基础设施——即运行基于与目标模型相同类型数据的模型的计算机。"
在此设置下，例如，可能攻击使用血液检测结果来预测癌症免疫治疗成功可能性的AI模型。单独来看，血液检测并不能显示一个人是否患病。然而，如果攻击者可以证明特定数据点被用于训练模型，那么患者患有或曾经患有癌症的可能性就更大了。
对个人的潜在影响
正如莫里茨·克诺勒用一个假设例子说明的那样，此类数字攻击可能带来严重的现实后果："想象一下，你曾接受过癌症治疗，并将你的数据提供给研究，"这位医学信息学专家表示。"几年后——自那时起癌症没有复发——你想购买私人补充保险。然而，攻击者发现你的数据被用于训练肿瘤分析模型。这些信息通过第三方提供商的数据分析或相应的风险档案传达到保险公司。然后你被归类为高风险患者，相应地保费上涨——而且你可能永远不知道原因。"
当目标个体属于数据集中代表性不足的群体时，MIAs特别成功。这可能包括影像数据中的某些解剖特征，也包括少数群体的数据。"这尤其严重，因为AI中的歧视在医学中也发挥作用，例如，当患者属于少数群体时，某些模型的预测准确性较低，"丹尼尔·吕克特说。
大型模型显示出更大的脆弱性
研究人员表明，随着模型变得更大更复杂，攻击变得更加成功。在研究人员看来，高性能模型特别容易受到攻击这一事实表明，如果没有采取对策，这个问题在未来几年可能会变得更加严重。
因此，他们主张在发布新模型之前，在个体患者层面评估其风险。其他对策包括严格控制对AI模型的访问。"已经有可以在模型训练期间应用的有效防护措施来对抗MIAs。例如，差分隐私会在训练数据中引入微小的修改，这些修改不会影响模型的计算，但会使MIAs变得更加困难，"格奥尔格·凯西斯说。
出版物：
Knolle, M.A., Menten, M.J., Jungmann, F. et al. 医疗AI中的差异性隐私风险. 自然 (2026). DOI:10.1038/s41586-026-10688-0.
更多信息：
- 丹尼尔·吕克特教授在慕尼黑工业大学医学与健康学院担任"医疗与医学人工智能"讲席教授，并是慕尼黑工业大学计算、信息与技术学院、慕尼黑数据科学研究所以及慕尼黑机器学习中心的成员。
【全文结束】