用于癌症识别等任务的AI模型通常使用患者的健康数据进行训练。即使仅仅是个人数据被用于训练模型这一信息落入错误的人手中，也可能对相关患者产生负面影响。现在，一个研究团队在《自然》杂志上发表研究表明，使用适当方法可以从这些模型中更有效地提取出这些敏感信息，效果比之前认为的要好得多。
慕尼黑工业大学(TUM)、伦敦帝国理工学院和哈索-普拉特纳研究所(HPI)的研究人员发现，关于AI模型安全性的现有计算结果具有误导性。用于确定某个人的数据是否被纳入模型的攻击在专业术语中被称为成员推理攻击(Membership Inference Attacks, MIAs)。迄今为止，常见的医学AI模型被认为在很大程度上可以抵御MIAs。
"不幸的是，相应的测试一直只计算了对所有患者的平均风险。我们首次关注了对个别患者的风险——对于这些患者，情况却完全不同，"该研究的第一作者、TUM科学家Moritz Knolle表示。虽然对大部分数据集的攻击都失败了，但有些患者可以以近乎100%的概率与模型相关联。"这不是可以忽视的风险。健康数据极为敏感，"TUM医学AI与计算机科学教授Daniel Rückert表示，他与HPI的Georg Kaissis教授共同担任该研究的最后作者。
考虑不同数据类型
研究人员攻击了基于七个已建立的医学数据集的模型。这些模型的基础是各种不同的数据类型，如影像数据、心电图或电子病历。"要执行MIA，攻击者需要三样东西，"哈索-普拉特纳研究所数字健康：以人为本的变革性AI教授Georg Kaissis解释道："首先，需要访问要攻击的AI模型，例如通过医院的网络。其次，需要访问一个想要知道是否已纳入模型的数据点。可以想象，例如这些数据点在黑客攻击中被窃取。第三，需要自己的AI基础设施——运行基于与被攻击模型相同数据类型的AI模型的计算机。"
使用这种设置，可以攻击一个从血液检测结果推断癌症免疫治疗成功率的AI模型。单独来看，血液检测结果并不提供有关疾病的任何信息。但如果攻击者能够证明某个数据点已纳入模型，则更有可能表明该患者曾经或现在患有癌症。
对受影响者的可能后果
Moritz Knolle通过一个虚构的例子说明了这些数字攻击可能导致严重的实际后果："假设您曾因癌症接受治疗，并将您的数据提供给研究使用，"这位医学信息学家说道。"几年后——癌症自此未再复发——您想购买私人补充保险。但此时，攻击者已经发现您的数据被用于肿瘤分析模型的训练。这一信息通过第三方数据分析或相应的风险档案传递给保险公司。随后，您被归类为高风险患者并相应地支付更高的保费——而且可能永远不知道原因。"
当被攻击的个体属于数据集中代表性不足的群体时，MIAs特别容易成功。这可能是在影像中器官的特定特征，也可能是少数群体的数据。"这尤其严重，因为AI在医学中的歧视也是一个问题，例如有些模型在患者属于少数群体时预测准确性较低，"Daniel Rückert说道。
高性能模型尤其受影响
研究人员发现，模型越大越复杂，攻击就越成功。研究人员认为，正是高性能模型易受攻击这一事实表明，如果没有相应的对策，这个问题在未来几年可能会显著恶化。
因此，他们建议在发布新模型之前，始终在个体层面上评估其风险。其他对策包括对AI模型访问的严格控制。"如今已经存在有效的MIA防护措施，可以在模型训练过程中直接应用。例如，在'差分隐私'(Differential Privacy)中，会在训练数据中引入微小变化，这些变化不会干扰模型的计算，但会显著增加MIA的难度，"Georg Kaissis说道。
出版物：
Knolle, M.A., Menten, M.J., Jungmann, F. et al. Disparate privacy risks from medical AI. Nature (2026).
更多信息：
• Prof. Daniel Rückert是TUM医学院和健康学院AI in Healthcare and Medicine讲席教授，同时也是TUM计算、信息和技术学院、慕尼黑数据科学研究所(MDSI)和慕尼黑机器学习中心(MCML)的成员。
TUM企业传播中心联系人：
Paul Hellmich
新闻官
电话：+49 89 289 22731
presse@tum.de
www.tum.de
科学信息联系人：
Moritz Knolle
慕尼黑工业大学
AI in Healthcare and Medicine讲席
+49 89 4140 8587
moritz.knolle@tum.de
Prof. Dr. Daniel Rückert
慕尼黑工业大学
AI in Healthcare and Medicine讲席
+49 89 4140 8587
daniel.rueckert@tum.de
Prof. Dr. Georg Kaissis
哈索-普拉特纳研究所
数字健康：以人为本的变革性AI专业
+49 331 5509-586
georg.kaissis@hpi.de
原始出版物：
Knolle, M.A., Menten, M.J., Jungmann, F. et al. Disparate privacy risks from medical AI. Nature (2026).
标准此新闻稿：
• 商业和工业、记者、科学家和学者、学生、教师和学生、所有感兴趣的人士
• 信息技术、医学
• 跨地区、国家
• 研究成果、科学出版物
• 德语
【全文结束】