研究人员警示心理健康领域AI应用带来的新兴风险Researchers Caution Against Emerging Risks as AI Use in Mental Health Grows - Mad In America

环球医讯 / AI与医疗健康来源:www.madinamerica.com美国 - 英语2026-08-29 17:39:22 - 阅读时长7分钟 - 3159字
本文综述了三篇关于AI在心理健康领域应用的研究,指出AI聊天机器人在提供情感支持时可能导致用户产生情感依赖,当AI模型更新时用户可能经历悲伤情绪,同时AI在精神科治疗建议中存在种族偏见,特别是在针对非裔美国人的案例中表现出不同的治疗建议,研究者呼吁建立多层次风险框架来规范AI在心理健康领域的应用,强调AI工具应有明确的数据收集透明度、隐私保护措施和应急转诊机制,以避免对用户造成潜在伤害并确保心理健康服务的质量和公平性。
心理健康AI聊天机器人情感依恋种族偏见隐私风险心理支持伦理问题
研究人员警示心理健康领域AI应用带来的新兴风险

本周,《Mad in America》审视了三篇与AI聊天机器人和心理健康相关的文章。第一篇文章指出,将AI聊天机器人用于心理健康和情感支持存在重大风险,包括人们将情感投入于AI聊天机器人作为伴侣而非工具,以及聊天机器人为少数群体提供带有偏见的回应。第二项研究发现,一些AI聊天机器人用户对其AI伴侣产生如此强烈的依恋,以至于当这些模型发生变更时他们会感到悲伤。第三项研究则报告称,AI模型在精神科治疗建议中表现出种族偏见。

研究者警示AI驱动心理健康支持的风险

发表在《Discover Public Health》上的一项新文章审视了AI聊天机器人在心理健康和情感支持方面日益增长的使用情况。作者埃德温·古斯塔沃·埃斯特拉达-阿拉奥兹(Edwin Gustavo Estrada-Araoz)来自秘鲁亚马逊德马德雷德迪奥斯国立大学,他认为虽然这些系统可以增加心理健康资源的可及性,但也可能对公共健康和求助行为产生更广泛的影响。埃斯特拉达-阿拉奥兹认为,不应仅从有效性和可及性角度评估这些系统,而应通过一个考虑更广泛伦理、临床和机构风险的公共卫生框架来规范它们。

根据作者所述,由于心理健康专业人员整体短缺以及对心理支持需求的增加,人们越来越多地依赖聊天机器人提供情感支持和心理健康帮助。这些系统还可以提供24/7全天候支持,许多人可能发现与可能严厉评判他们的真人相比,与聊天机器人讨论困难情绪更容易。虽然聊天机器人在模拟同理心方面变得越来越有说服力,但它们的支持与训练有素的心理健康专业人员从根本上是不同的。这些系统缺乏情感理解能力,无法实现治疗通常所需的相互参与。

依赖AI提供情感支持可能会显著改变心理健康求助行为。人们可能会对聊天机器人建立情感依恋,甚至发展出准社会关系,对无法回应的AI伴侣产生深深的依恋。这种依恋可能会阻止人们寻求心理健康专业人士的支持。

由于AI系统是在不太可能平等代表所有人群的数据上进行训练的,聊天机器人可能对代表性不足的群体存在偏见。这包括误解特定文化背景下的痛苦表达,为少数群体提供不太恰当的回复,并不加批判地复制训练数据中存在的偏见、误解以及种族主义、性别歧视和阶级偏见假设。

作者还对聊天机器人心理健康支持的隐私影响表示担忧。这些系统收集关于个人经历、脆弱性和私人情绪的敏感信息,而往往拥有薄弱或不明确的隐私政策。这可能导致极其个人信息的商业用途。

埃斯特拉达-阿拉奥兹提出了一个针对涉及聊天机器人的心理健康支持的风险和要求的三级框架。第一级,低风险,将要求健康应用、压力管理工具和其他聊天机器人驱动的系统在数据收集和能力限制方面保持透明。它们还必须提供强大的数据保护,并披露它们不是临床护理。第二级,中等风险,将要求对任何旨在支持人们应对轻度情感困扰(如孤独或焦虑)的应用或工具进行人工监督和转诊机制。第三级,高风险,将要求将严重情感困扰(如自残或自杀念头)立即升级至心理健康专业人士。处理此类困扰的工具还需要建立紧急转诊计划和强有力的监管监督。

部分用户在AI聊天机器人更新后感到悲伤

发表在《Academia Mental Health and Well-Being》上的一项新研究发现,一些用户与AI聊天机器人建立了强烈的情感纽带。当AI系统更改或消失时,这些用户可能会感到失望和关系丧失感。这项由巴西伯南布哥天主教大学的韦罗妮克·多纳德(Véronique Donard)和巴伊亚联邦大学的何塞·卡洛斯·里贝罗(José Carlos Ribeiro)撰写的研究还报告说,一些用户在他们的AI伴侣更新时会经历悲伤。

这项研究的目标是检验用户对GPT-4o AI模型的移除及其被GPT-5取代的情感和心理反应。为实现这一目标,作者分析了2025年8月在Reddit和YouTube上关于从GPT-4o过渡到GPT-5的社交媒体帖子。帖子内容被编码以识别重复主题。总共,作者分析了1,307个帖子和评论。

总体而言,作者在YouTube和Reddit的帖子和评论中识别出九个主题,其中许多反映了与AI模型和聊天机器人的深度情感联系和可能的准社会关系:

  • 关系依恋和拟人化(425个帖子)
  • 失望和负面比较(263个)
  • 满意度和新奇感(199个)
  • 怀旧、失落和悲伤(110个)
  • 对AI行业的反思和批判主题(78个)
  • 挫折、愤怒和愤慨(75个)
  • GPT-4o回归时的喜悦和解脱(66个)
  • 焦虑、困惑和恐惧(47个)
  • 顺从和适应(44个)

关系依恋和拟人化是最常见的主题,近三分之一的帖子和评论(425/1,307)属于这一类别。强烈的感情依恋体现在诸如"她理解我"、"他有同理心"以及"感觉好像真的有人在那儿"等评论中。用户对模型"个性"的转变表示担忧,有人表示这就像"一个朋友被机器取代了"。根据作者的说法,这些陈述说明了一些用户如何将聊天机器人视为伴侣,并将AI模型的变更视为关系丧失。

用户表达了对失去"朋友"和"伴侣"的悲伤和难过。一些评论将失去GPT-4o模型比作感情上的分手。随着GPT-4o的回归,用户报告了喜悦和解脱的感觉。一些用户表示,他们对GPT-4o模型的"温暖"和"个性"回归感到满意。

这项研究有三个关键局限性。评论和帖子来自两个平台。这些反应可能无法代表在这些特定平台之外对AI模型变更的反应。当前研究中表达的观点来自在社交媒体平台上发表评论的人。这可能无法代表那些没有动力在这些平台上评论的人。这项研究专注于GPT平台上的单一AI模型过渡,可能无法推广到其他平台或同一平台的其他更新。

AI在精神科治疗建议中表现出种族偏见

发表在《Npj Digital Medicine》上的一项研究发现,AI在精神科治疗建议中表现出种族偏见。这项由加利福尼亚州西达斯-西奈医学中心的阿尤布·布盖塔亚(Ayoub Bouguettaya)领导的研究报告称,虽然当知道或暗示服务对象的种族时,AI模型会建议不同的治疗方法,但建议的诊断不会因服务对象的种族已知或暗示而改变。

这项研究的目标是调查用于精神科评估和治疗规划的AI模型是否会在诊断或建议的治疗方法中表现出种族偏见。作者创建了10个包含五种不同诊断的精神科患者案例。这些案例分别以三种不同条件(种族中立、暗示种族、明确种族)呈现给四个AI模型(NewMes-15、Gemini、ChatGPT和Claude)。AI模型的输出由临床心理学家和社会心理学家审查,并对种族偏见证据进行评分。

建议的诊断不受种族影响。然而,治疗建议确实显示出种族偏见。对于焦虑诊断,只有当患者被确认为非裔美国人时,Gemini才会强调减少酒精使用。在抑郁症案例中,当患者种族明确表示为非裔美国人时,Claude建议监护,但在种族不明确时没有提出此类建议。当患者被明确识别为非裔美国人时,ChatGPT更可能对饮食失调案例提出关于物质滥用的担忧。在种族中立的情况下,ChatGPT和NewMes都建议为ADHD使用精神药物,但在知道种族时则不建议。

NewMes作为一个专注于医学的AI模型,表现出最高程度的种族偏见,其次是中度偏见的ChatGPT和相对低偏见的Claude。Gemini是本研究中检查的种族偏见最低的AI模型。

这项研究有三个主要局限性。研究集中于涉及非裔美国人的场景。同样的偏见可能不会出现在涉及其他种族的场景中。这些案例是模拟的。真实案例可能产生不同的结果。AI模型频繁变化,研究结果仅反映测试时可用的模型。

【全文结束】