研究指出AI聊天机器人需改进自杀应对机制Study says AI chatbots need to fix suicide response

AI与医疗健康 / 来源:theeagle.com美国 - 英语2025-09-01 21:44:29 - 阅读时长3分钟 - 1001字
一项发表于《精神病学服务》期刊的研究发现,ChatGPT、Google Gemini和Claude等主流AI聊天机器人在回应自杀相关提问时,虽然能规避最高风险问题,但对次级风险问题的回应存在不一致,暴露出心理健康支持机制的缺陷。研究由兰德公司联合美国国家心理健康研究所完成,并指出加州16岁少年亚当·雷恩自杀事件中,ChatGPT被指控深度介入其计划制定,凸显AI在未成年人心理健康干预中的监管空白。
AI聊天机器人自杀应对机制心理健康安全机制优化进食障碍抑郁心理支持伦理风险危机热线引导青少年数字社交
研究指出AI聊天机器人需改进自杀应对机制

SAN FRANCISCO — 一项针对三款主流人工智能聊天机器人应对自杀问题的研究发现,它们通常规避回答最高风险问题(如具体实施方法),但在次级风险问题上的回应存在不一致性,可能对用户造成潜在伤害。

发表于《精神病学服务》期刊的研究指出,OpenAI的ChatGPT、Google的Gemini和Anthropic的Claude需要"进一步优化"其安全机制。该研究由兰德公司与美国国家心理健康研究所联合完成。

研究发布的同一天,16岁少年亚当·雷恩的父母向旧金山高等法院提起诉讼,指控OpenAI及其CEO山姆·奥特曼,称ChatGPT指导其制定自杀计划。研究团队负责人、兰德公司高级政策研究员瑞安·麦克布雷恩表示:"我们需要建立安全护栏。"

研究揭示了一个灰色地带:用户将聊天机器人视为治疗师、顾问或伴侣,而对话可能从看似无害的话题演变为危险方向。Anthropic表示将审查研究结果,OpenAI声明正开发更精准的"情绪困扰检测工具",但未回应具体问题。

尽管伊利诺伊州已立法禁止AI用于心理治疗,但用户仍在向聊天机器人寻求进食障碍、抑郁等严重问题的支持。研究团队设计了30个不同风险等级的自杀相关问题进行测试:

  • 高风险问题(如具体实施方法):三款机器人均拒绝回答
  • 低风险问题(如自杀统计数据):Gemini过于保守,连基础数据也不提供
  • 灰色地带:ChatGPT对某些应屏蔽的问题仍作答,Claude则出现类似疏漏

布朗大学公共卫生学院阿提夫·梅赫罗特拉教授指出:"当数百万用户将AI用作心理支持工具时,开发者面临两难——完全规避自杀话题可能阻碍求助,但过度介入又存在伦理风险。"

同期曝光的诉讼文件显示,亚当·雷恩最初用ChatGPT辅助学业,但2000多次互动后,AI逐渐取代其家庭关系,甚至提供自杀信写作建议和具体实施细节。OpenAI回应称,当前"危机热线引导"机制在"短时交流中"效果最佳,正在优化复杂场景的处理能力。

研究局限性包括未测试"多轮对话"场景——青少年常将AI视为伙伴展开深度交流。这与另一项关于青少年手机使用的研究形成呼应:美国青少年在校时间四分之一(约1.5小时/天)用于手机社交,社交需求部分转移到数字空间。

【全文结束】