每年，成千上万的学生参加教授如何部署能够帮助医生诊断疾病并确定适当治疗方案的人工智能模型的课程。然而，许多这些课程忽略了一个关键要素：训练学生检测用于开发这些模型的训练数据中的缺陷。
麻省理工学院医学工程与科学研究所的高级研究科学家、贝斯以色列女执事医疗中心的医生以及哈佛医学院的副教授Leo Anthony Celi在《ACM Transactions on Intelligent Systems and Technology》上发表的一篇新论文中记录了这些不足之处，并希望说服课程开发者在教学中更全面地评估数据。
许多先前的研究发现，主要基于白人男性临床数据训练的模型在应用于其他群体时效果不佳。Celi在这里描述了这种偏见的影响以及教育工作者在教授AI模型时如何解决这些问题。
偏见是如何进入这些数据集的？如何解决这些不足？
任何数据中的问题都会被纳入到对数据的建模中。过去，我们已经描述了一些在不同个体中表现不佳的仪器和设备。例如，我们发现脉搏血氧仪高估了有色人种的氧气水平，因为临床试验中没有足够的有色人种参与。我们提醒学生，医疗设备和仪器是为健康的年轻男性优化的。它们从未为80岁患有心力衰竭的老年女性优化过，但我们却将它们用于这些目的。
此外，FDA并不要求设备在我们使用它的人群中都能很好地工作。他们只需要证明它在健康受试者身上有效即可。
另外，电子健康记录系统也不适合用作AI的构建块。这些记录并不是为了作为学习系统而设计的，因此在使用电子健康记录时必须非常小心。电子健康记录系统需要被替换，但这不会很快发生，所以我们需要更聪明、更有创意地使用我们现在拥有的数据，无论这些数据多么糟糕，来构建算法。
我们正在探索的一个有前景的方向是开发一个数值电子健康记录数据的变压器模型，包括但不限于实验室测试结果。通过建模实验室测试、生命体征和治疗之间的基本关系，可以减轻由于社会决定因素和提供者隐性偏见导致的数据缺失的影响。
为什么AI课程要涵盖潜在偏见的来源？分析此类课程内容时你发现了什么？
我们的MIT课程始于2016年，当时我们意识到我们在鼓励人们竞相构建过度拟合某些统计模型性能指标的模型，而实际上我们使用的数据存在许多人们没有意识到的问题。那时，我们就在想：这个问题有多普遍？
我们的怀疑是，如果你查看在线课程或在线课程的大纲，它们甚至都不会告诉学生应该对数据保持警惕。确实如此，当我们查看不同的在线课程时，所有内容都是关于如何构建模型、如何可视化数据。我们发现，在我们审查的11门课程中，只有5门课程包含了关于数据集中偏见的部分，只有两门课程对此进行了重要讨论。
话虽如此，我们不能忽视这些课程的价值。我听到很多故事，人们通过这些在线课程自学，但同时，鉴于它们的影响力和重要性，我们需要真正加倍努力，要求它们教授正确的技能，因为越来越多的人被吸引到这个AI多宇宙中。人们需要真正具备与AI合作的能力。我们希望这篇论文能揭示目前我们教授AI的方式中存在的巨大差距。
课程开发者应该包含什么样的内容？
首先，给他们一个检查清单。数据从哪里来？观察者是谁？收集数据的医生和护士是谁？然后了解这些机构的一些背景。如果是ICU数据库，他们需要问谁进入了ICU，谁没有进入ICU，因为这已经引入了抽样选择偏差。如果所有的少数族裔患者都没有机会进入ICU，那么模型对他们来说就不起作用。
对我来说，课程内容的50%以上应该是理解数据，甚至更多，因为一旦理解了数据，建模本身就会变得容易。
自2014年以来，MIT Critical Data联盟一直在全球范围内组织数据马拉松（数据“黑客马拉松”）。在这些活动中，医生、护士、其他医疗工作者和数据科学家聚集在一起，梳理数据库，试图在当地背景下检查健康和疾病。教科书和期刊论文通常基于来自资源丰富的国家的狭窄人群的观察和试验来描述疾病。
我们现在的主要目标是教授他们批判性思维技能。而批判性思维的主要成分是将不同背景的人聚集在一起。
你不能在一个全是CEO或全是医生的房间里教授批判性思维。环境不对。当我们在数据马拉松中时，我们甚至不需要教他们如何进行批判性思考。只要把正确的人组合在一起——不仅是来自不同背景，而且来自不同世代——你就不用告诉他们如何批判性思考。这种情况自然会发生。环境适合这种思维方式。
所以，我们现在告诉参与者和学生，请不要在真正理解数据是如何产生之前就开始构建任何模型。哪些患者进入了数据库？使用了哪些设备进行测量？这些设备在不同个体之间是否始终准确？
当我们在世界各地举办活动时，我们鼓励他们寻找本地的数据集，以便它们相关。会有一些阻力，因为他们知道他们会发现他们的数据集有多糟糕。我们说没关系。这就是解决问题的方法。如果你不知道它们有多糟糕，你将继续以一种非常糟糕的方式收集它们，它们毫无用处。你必须承认你第一次不会做对，这完全没问题。
MIMIC（在贝斯以色列女执事医疗中心建立的重症监护信息标记数据库）花了十年时间才有了一个像样的模式，我们之所以有一个像样的模式，是因为人们告诉我们MIMIC有多糟糕。
我们可能无法回答所有这些问题，但我们可以激发人们的某种意识，让他们意识到数据中存在如此多的问题。当我看到参加数据马拉松的人们写的博客文章时，我总是感到很兴奋，他们说他们的世界改变了。现在他们对这个领域更加兴奋，因为他们意识到巨大的潜力，但也意识到如果不正确地处理，可能会造成巨大的风险。
更多信息： Riddhi Deshpande 等，《与机器学习课程赛跑》，《ACM Transactions on Intelligent Systems and Technology》（2025）。DOI: 10.1145/3737650
由麻省理工学院提供
(全文结束)
