核心要点：
- 偏见可能在人工智能模型的开发和训练过程中无意引入。
- 人工智能模型应持续评估和验证以保持准确性。
基于种族、民族或语言的医疗歧视可能导致医疗服务利用率下降、获取延迟和健康结果不佳。
据2024年一项调查显示，在3000名美国医疗工作者中，33%认为针对患者的种族主义或歧视是医疗领域的主要问题，19%表示这已是一场危机。
迪普蒂·潘迪塔
"我们深知医疗领域存在大量歧视现象，无论是限制边缘化人群医疗服务获取的'红线区'政策，还是关于边缘化人群信仰体系的假设影响健康结果，"加州大学欧文分校医疗中心首席医学信息官、临床信息学副总裁兼医学副教授迪普蒂·潘迪塔(Deepti Pandita, MD, FACP, FAMIA)向Healio表示，"我们已看到许多结果研究表明，感知与现实之间存在差距，受到歧视的人群不仅健康结果更差，获取医疗服务的机会也更少。"
然而，潘迪塔表示，过去十年间，医疗领域在应对偏见和歧视方面已取得进展。这包括意识到并"理解这种边缘化和歧视的根本原因"。
潘迪塔称，医疗行业已变得更加数据驱动，医生们正在收集健康的社会决定因素数据，并就公共卫生展开更多讨论。
"所有这些都创造了更高意识，"潘迪塔说，"既然我们知道了根本原因及影响这些原因的因素，我们如何朝着产生实际影响的方向前进？如何倡导并提供真正从健康公平角度提升全民健康水平的系统，而不会让人感受到偏见或歧视？"
潘迪塔指出，可能有助于消除提供者偏见和临床不平等的技术是人工智能。但与Healio交谈的消息来源表示，人工智能并非"魔法子弹"。
"人工智能存在透明度的'黑箱'问题，人们需要理解人工智能——其核心是数学，而非魔法，"潘迪塔说，"这些数学基于算法进行训练，而算法的质量取决于输入或创建它们的人。"
人工智能中主要偏见形式
梅奥诊所肾病学家兼重症监护专家、梅奥医学院和科学学院医学教授基亚努什·B·卡什亚尼(Kianoush B. Kashani, MD, MS)表示，人工智能在肾病学中的应用正在增长，但在研究和临床中的实施并不均衡。卡什亚尼设计并验证用于检测和管理急性肾损伤(AKI)的人工智能工具。
"人工智能在肾病学中的全部潜力仍未得到充分利用，"卡什亚尼告诉Healio，"肾病学家应越来越多地使用人工智能来个性化护理，整合基因组学、影像学、移动和远程医疗信息以及电子健康记录等多模态数据，改善早期疾病检测并简化工作流程——最终提高患者管理的精确性和效率。"
卡什亚尼表示，人工智能中的偏见是一个严重问题。
"然而，偏见并非人工智能独有，因为系统性和隐性偏见长期以来一直影响临床决策和护理提供，"他说，"人工智能只是使这些问题更加明显和可测量，突显了确保数据驱动和传统护理公平性的刻意策略的必要性。我们往往对人工智能中的偏见持比对临床医生、研究人员或模型开发者的偏见更高的标准。"
据与Healio交谈的消息来源称，人工智能中存在三种主要偏见形式。
首先，原始数据或数据收集者中的偏见可能导致人工智能产生偏见，卡什亚尼解释道。
"如果人工智能模型在有偏见或不完整的数据上进行训练，可能会放大现有医疗差距，导致不公平的预测或建议，"卡什亚尼告诉Healio。
其次，捷径学习可能导致人工智能产生偏见，达特茅斯-希区柯克医疗中心和诊所的机器学习研究科学家布兰登·G·希尔(Brandon G. Hill, MS)表示。由于人工智能能够识别大量数据中的统计和模式，它也可能识别出开发人员和医生未知的模式。
"当您测试模型时，它可能给出准确结果，但它可能依赖于您不知道存在的数据特征，"希尔说。
第三种主要偏见是人为偏见，希尔表示，这源于认为人工智能以与人类相同方式解决问题的信念。
"我们假设模型像人类一样思考。当它得出答案时，我们认为它看到了我们会关注的东西，"希尔说，"这种偏见本身就很危险，因为它以完全不同的方式思考。"
偏见的后果
耶鲁医学院医学博士候选人詹姆斯·L·克罗斯(James L. Cross)及其同事撰写的一篇综述强调了偏见在从训练到模型开发和实施的不同开发阶段引入人工智能时可能出现的潜在临床后果。这些后果包括对代表性不足群体的性能更差和算法低估、对受健康社会决定因素影响的患者预测准确性降低、现有偏见的放大，以及医生对特定患者的AI建议覆盖等。
约翰·A·奥诺弗雷
"我们的目标是列举偏见如何潜入[数据]的各种方式，有时相当隐蔽，从大多数角度看这绝非出于恶意，"该研究合著者、耶鲁大学助理教授兼放射学与生物医学成像系及泌尿外科与生物医学工程系联合主任约翰·A·奥诺弗雷(John A. Onofrey, PhD)表示。
据奥诺弗雷称，即使AI模型训练方式的最小领域变化也可能导致结果偏离，包括不同的MRI供应商、成像设备或血液检测方法。
"训练数据领域与您验证它的领域存在差异，算法难以泛化，"奥诺弗雷说，"如今的解决方案是将我们拥有的所有数据投入其中。事实上，数据的多样性是一种优势，因为...这些模型有能力学习数据的所有细微差别，但难点在于以一种协调一致的方式将所有数据整合在一起。"
减轻偏见
人工智能模型中的偏见无法完全消除，但可以减轻。希尔表示，减轻人工智能偏见应从模型设计和测试开始。
"就减轻[偏见]而言，归根结底在于更好的算法设计、更好的算法检查以及更好地理解这些偏见如何产生，以便我们能进行更好的数据选择，"希尔说。
奥诺弗雷表示，在AI模型中使用更多可用数据以及标准化数据收集可能有助于减少算法中的偏见。
达特茅斯-希区柯克骨科人工智能研究中心联合创始人、骨科外科助理教授彼得·L·希林(Peter L. Schilling, MD, MS)认为，数据的多样性也有助于减轻偏见。
彼得·L·希林
"您需要尽可能多的样本，一种方法是跨中心获取，"希林告诉Healio，"但一个基本问题是，将一个中心的数据与另一个中心的数据混合并进行分析异常困难。"
尽管希林表示部分原因是HIPAA法规，但也是因为"医院想紧握数据不放"。
"这是害怕基于这些数据取得的重大进展得不到认可或补偿，"他说。
希林表示，解决数据共享问题的一种方法是通过联邦学习或联邦计算。通过共享必要的信息摘要并采用额外的安全和隐私工具来保证机密性，联邦计算使研究人员能够在特定层面跨医院执行计算而不混合数据。
"这增加了安全感，也传达了您不会失去对数据控制权的理念，"希林说。
卡什亚尼认为，人工智能本身可能被用来对抗人工智能中的偏见。
"通过系统分析大型数据集，人工智能可以发现可能被忽视的获取、结果和治疗模式中的不平等。透明的算法、改进的可解释性、偏见审计和公平性指标可以帮助开发人员和临床医生检测和纠正差异。通过这种方式，如果在伦理监督和多样化数据表示的指导下，人工智能有潜力成为促进肾脏护理公平性的工具，"卡什亚尼说。
验证人工智能
与Healio交谈的消息来源表示，人工智能模型应接受类似于批准药品过程的严格验证。奥诺弗雷还表示，建立"随时间持续监控AI模型的基础设施"以检测性能变化可能有益。
"最大的挑战是，如果我们不断从新数据中学习，如何同时防止它忘记旧数据？我们如何优雅地适应新变化？"奥诺弗雷说，"很难知道是您的模型在变化还是患者群体在变化。与去年同期相比，呼吸系统疾病的突然增加，是因为出现了不同疾病毒株，还是因为模型不再有效？"
但希尔表示，人工智能技术的进步和变化频繁发生，不断更新关于人工智能的规则和法规可能会使公司在尝试将产品推向市场时感到压力。
"如果[法规]以这种速度变化，您是否应该回溯重新检查先前批准的算法，因为现在您有了理解偏见和歧视的新方法？"希尔说，"从商业和法律角度来看，这变得有点混乱。"
保持批判性
卡什亚尼表示，医疗专业人员应以"好奇与谨慎"的态度对待人工智能。
"他们应努力了解所使用任何AI工具的底层数据、算法和局限性，确保输出补充而非取代临床判断，"他说，"与数据科学家、患者倡导者、医疗提供者和管理人员的合作，以及在多样化人群中对AI模型的持续验证，以及与患者的透明沟通至关重要。最重要的是，肾病学家应专注于以增强以患者为中心的护理和促进公平性的方式整合人工智能。"
潘迪塔表示，医疗系统应建立人工智能治理机制，持续评估模型。
"在本地医疗系统层面建立AI治理很重要，因为这不是一劳永逸的事，"潘迪塔说，"模型会过时，需要评估；您需要伦理专家、数据科学家和研究人员参与，以确保模型正常运行并提供您部署它们所期望的结果。"
潘迪塔表示，实施风险较低的模型（如减少行政负担或自动化重复性任务的模型）可能是将人工智能引入实践的最佳方式。无论模型用途如何，她说医生都应仔细考虑每个AI工具，并决定它是否适合他们。
"仅仅因为它在其他地方成功，并不意味着您可以在自己的实践中复制成功，"潘迪塔说。
希林强调，医生在实施前应了解模型性能，并确保其已由"不仅了解该领域，还了解这些模型如何运作及出错位置基础知识的人"进行审查。
"医生需要持续评估这些模型。简单地说，要像泼冷水一样，对模型性能进行批评、探究和质疑，"希林说，"这不是魔法。它是我们武器库中的另一个工具，就像批准药物或其他干预措施一样。您必须对其保持高度批判性。"
【全文结束】
