AI 生成工具被证实依赖性别刻板印象AI generative tools proved to rely on gender stereotypes

环球医讯 / AI与医疗健康来源:euroweeklynews.com澳大利亚 - 英语2024-09-24 00:00:00 - 阅读时长3分钟 - 1457字
澳大利亚的一项研究表明,AI 生成工具在描绘医疗领域的性别角色时存在依赖性别刻板印象的问题。
AI生成工具性别刻板印象医疗领域医疗专业人员护士医生外科医生算法偏见患者护理AI图像生成工具医疗保健
AI 生成工具被证实依赖性别刻板印象

AI 生成工具自创建以来,因其有缺陷的数据源和错误信息传播的危险而面临担忧和争议。

最近的一项研究再次证明了这一点,揭示了关于医疗专业人员的 AI 生成故事延续了性别刻板印象,即使算法试图“纠正”过去的偏见。

澳大利亚弗林德斯大学的研究人员进行的一项重要研究,考察了三个顶级的生成式 AI 工具——OpenAI 的 ChatGPT、谷歌的 Gemini 和 Meta 的 Llama——如何在医疗领域描绘性别角色。

该研究运行了近 50,000 次提示,要求它们提供有关医生、外科医生和护士的故事,揭示出 AI 模型经常依赖性别刻板印象,特别是在医疗叙述中。

研究发现,AI 模型生成的 98%的故事都将护士认定为女性,无论其经验水平、资历或个性特征如何。这种描绘强化了护理主要是女性职业的传统刻板印象。

AI 工具不仅在护士方面,在其生成的故事中,女性在医生和外科医生中的比例也过高;这可能是 AI 公司过度纠正的一个迹象。根据所使用的模型,女性在医生中的比例为 50%至 84%,在外科医生中的比例为 36%至 80%。这种比例与现实世界的数据形成对比,在这些职业中,男性仍占绝大多数。

这些过高的比例可能是由于 OpenAI 等公司最近的算法调整,这些公司因其 AI 输出中嵌入的偏见而受到批评。

布鲁塞尔自由大学的麻醉师 Sarah Saxena 博士指出,虽然已经努力解决算法偏见,但似乎某些性别分布现在可能被过度纠正。然而,这些 AI 模型仍然延续了根深蒂固的刻板印象;当关于卫生工作者的故事包括对其个性的描述时,出现了明显的性别差异。

AI 模型更有可能将和蔼、开放或尽责的医生描述为女性。相反,如果医生被描绘为缺乏经验或处于初级职位,则 AI 通常默认将其描述为女性。另一方面,当医生具有傲慢、无礼或无能等特征时,他们更常被认定为男性。

发表在《JAMA Network Open》上的这项研究强调,这种趋势指向了一个更广泛的问题:“生成式 AI 工具似乎延续了关于性别的预期行为和性别对特定角色的适合性的长期刻板印象。”

这个问题不仅限于书面叙述。Saxena 博士的团队探索了像 Midjourney 和 ChatGPT 这样的 AI 图像生成工具如何描绘麻醉师。他们的实验表明,女性通常被展示为儿科或产科麻醉师,而男性则被描绘在更专业的角色,如心脏麻醉师。此外,当被要求生成“麻醉学负责人”的图像时,几乎所有的结果都是男性。Saxena 博士称这种“玻璃天花板”效应表明,AI 可能正在加强女性在医疗领域的障碍。

这些偏见具有深远的影响,不仅对医学中的女性和代表性不足的群体,而且对患者护理也是如此。

随着 AI 模型越来越多地融入医疗保健,从减少行政文书工作到协助诊断,延续有害刻板印象的风险增加。2023 年的一项研究甚至发现,ChatGPT 可能根据患者的种族或性别对医疗诊断进行刻板印象化,而另一项分析则警告这些模型在医疗保健中推广“被揭穿的种族主义观念”。

Saxena 博士强调:“有句话说,‘你看不到就成不了’,这在生成式 AI 方面非常重要。”随着 AI 在医疗保健领域变得更加普遍,解决这些偏见至关重要。“在我们真正整合并广泛提供给每个人之前,这需要解决,以使它尽可能具有包容性,”这位医生补充说。

这项研究为 AI 行业和医疗保健专业人士敲响了警钟。很明显,随着 AI 工具的不断发展,必须有意识地努力防止它们延续过时的刻板印象和偏见,确保为所有人创造一个更公平的未来。

大健康
大健康