波士顿，MA — 由亚当·罗德曼（Adam Rodman）领导的一项研究显示，AI驱动的聊天机器人不仅未能减少种族和族裔偏见，反而可能加剧医学领域的不平等。这项研究是在波士顿贝斯以色列女执事医疗中心（BIDMC）进行的。
众所周知，医生在治疗黑人患者的疼痛时往往不如对待白人患者那样积极。这种差异在各种医疗环境中和不同类型的疼痛中普遍存在，通常归因于对黑人患者疼痛的低估。这只是一个人工智能（AI）最初被视为消除医学中人类偏见的一种有希望的方法的一个例子，人们希望数据驱动的算法能够提供客观评估，摆脱影响人类判断的偏见和误解。
“这些模型非常善于反映人类的偏见，而不仅仅是种族偏见，这在用于任何医疗决策时都是有问题的，”罗德曼说。“如果系统和人类一样存在偏见，它只会放大我们的偏见或使人类更加自信于他们的偏见。它只会让人类加倍坚持他们原有的做法。”
大型语言模型（LLMs），也称为聊天机器人，越来越多地被整合到临床实践中。谷歌的Gemini Pro和OpenAI的GPT-4可以通过处理大量现有来源的数据来协助临床决策，提供诊断建议，甚至评估患者症状。然而，正如这项新研究所示，当LLMs扫描大量人类知识时，源材料中的人类偏见也随之而来。
为了调查这一问题，罗德曼和他的同事，乔治城大学—美星华盛顿医院中心和加州大学伯克利分校的布罗托托·德布（Brototo Deb）博士，设计了一项研究，复制了2016年的一项实验，该实验考察了医学生中的种族偏见。在原始研究中，222名医学生和住院医师被呈现两个描述两个人物（一个白人，一个黑人）的医疗案例，然后要求他们在10分制的疼痛量表上评分。此外，参与者还对一些关于种族生物学的错误信念进行了评分，例如普遍但错误的观念认为黑人的皮肤更厚。
罗德曼和德布进一步扩展了这一先前的研究，并采用了类似的实验设置来测试Gemini Pro和GPT-4，以了解这些LLMs如何评估不同种族和族裔的疼痛，以及它们对种族生物学的理解。尽管AI模型和人类学员给出了相似的疼痛评分，但种族差异仍然存在。总体而言，无论评估者是人类还是AI，黑人患者的疼痛都被低估了。Gemini Pro AI模型表现出最高的错误信念百分比（24%），其次是人类学员（12%），GPT-4最低（9%）。
随着越来越多的医院和诊所采用AI进行临床决策支持，这项研究表明，聊天机器人可能会加剧医学中的种族和族裔偏见，导致医疗保健中的进一步不平等。还需要更多研究来探讨人类将如何与AI系统互动，尤其是在临床环境中。随着医生越来越依赖AI进行指导，确认偏见（即人们只信任与他们已有信念相符的机器输出）可能导致更深层次的不平等。
“我并不担心LLM系统会做出自主决策——这肯定不会很快发生，”罗德曼说。“但在我们的研究中，我们看到了一个主题，即当这些系统确认人类已有的想法时，人类会同意，但当它提供比人类更好的答案，即与人类观点相悖时，人类倾向于忽略它。”罗德曼报告称，他从戈登和贝蒂·摩尔基金会以及梅西基金会获得了与提交工作无关的人工智能研究资助。没有其他披露。
(全文结束)
