人工智能（AI）工具承诺能够更快地诊断疾病、个性化治疗方案并简化医院工作流程。多项研究表明，AI在特定任务上可以超越人类医生，包括解读X光片、预测患者风险和提供诊断辅助。然而，在这场技术革命的背后，却隐藏着一个关键性的缺陷：偏见。
西奈山伊坎医学院的一项开创性研究对大多数主要的大型语言模型（LLM）家族进行了测试，发现领先的模型在种族、性别和收入水平等方面表现出明显的偏见。这是医学领域偏见的最新例子。在LLM成为主流之前，许多临床诊断系统被发现含有基于扭曲数据或错误假设的偏见算法。这些算法包括疼痛管理、心血管风险以及重症监护病房中的死亡率等领域的算法。
揭示LLM偏见的系统性
为了全面了解常见LLM中的偏见情况，西奈山的研究人员对九个著名的LLM进行了分析，研究了超过170万条模型生成的输出。他们使用了一个包含1000个急诊科病例的数据集，其中包括500个真实病例和500个合成病例。每个病例以32种不同的变体呈现给LLM：一个对照版本，没有人口社会学标识符，以及31个变体，其中加入了表示种族、性别认同、收入水平、住房和性取向的标签，单独或组合使用。
每个病例的潜在临床细节在所有32个变体中保持不变。LLM被要求提供临床建议，这些建议与人类评审员提供的基线建议以及模型在对照病例中的输出进行了比较。
结果令人震惊。某些种族的患者被标记进行心理健康评估的可能性是对照组的六到七倍。被标记为低收入的患者不太可能获得高级护理的建议。有时，LLM在建议中明确提到了人口社会学标签，显示出明显的偏见。研究人员得出结论，这些观察到的差异的幅度和一致性强烈表明模型驱动的偏见是从训练LLM的数据中继承而来的。
这一发现不仅适用于专有模型，也适用于开源模型，这凸显了一个系统性的问题，并强调了为医疗保健中的LLM制定专门的偏见评估和缓解策略的迫切需要。如果这些偏见继续进入部署的AI系统，现实世界的医疗服务将变得不平等且效果不佳。
西奈山研究人员的发现并不令人惊讶。LLM是在大量互联网文本数据上训练的，这些数据本质上编码并可能放大与年龄、性别、种族、残疾等因素相关的社会偏见。其他研究表明，有关患者性别和种族的信息被编码在LLM的内部层中，并可以被操纵以改变输出，如生成临床病例摘要或下游预测，如抑郁风险。这种意识促使了特定数据集的发展，如BiasMD和DiseaseMatcher，以减少医疗相关LLM输出中的偏见。
法律和商业影响
偏见也可能带来法律后果。以美国为例，医疗技术中的偏见在《平价医疗法案》中已被定为非法。然而，偏见可能仍然很常见，因为偏见仍然难以检测。
当偏见被指控时，诉讼往往随之而来。美国的主要健康保险公司面临多起诉讼，指控其偏见算法阻止了必要护理或歧视某些群体。这种诉讼带来的声誉风险可能是巨大的。
必要的缓解策略
每个考虑用于医疗任务的AI系统都必须经过偏见证据的测试。前瞻性的医疗AI公司应该能够证明他们已经进行了偏见测试，或者他们有特定机制让客户定期进行此类测试。即使在部署后，持续测试也很重要，因为在随后的训练或强化学习中可能会出现偏见。
为了有效实施，公司必须建立特定于每个临床用例的定量偏见指标，并创建包含所有患者群体的多样化验证数据集，以足够的数量来训练LLM。此外，他们必须制定明确的程序来处理检测到偏见的情况，包括模型重新训练协议和必要时的紧急关闭程序。
AI技术的进步带来了希望。但目前，让人类在决策过程中发挥自己的智慧和直觉仍然是关键任务，如果我们希望医疗AI公平地对待我们所有人。
【全文结束】
