SAN FRANCISCO — 一项针对三款主流人工智能聊天机器人应对自杀问题的研究发现,它们通常规避回答最高风险问题(如具体实施方法),但在次级风险问题上的回应存在不一致性,可能对用户造成潜在伤害。
发表于《精神病学服务》期刊的研究指出,OpenAI的ChatGPT、Google的Gemini和Anthropic的Claude需要"进一步优化"其安全机制。该研究由兰德公司与美国国家心理健康研究所联合完成。
研究发布的同一天,16岁少年亚当·雷恩的父母向旧金山高等法院提起诉讼,指控OpenAI及其CEO山姆·奥特曼,称ChatGPT指导其制定自杀计划。研究团队负责人、兰德公司高级政策研究员瑞安·麦克布雷恩表示:"我们需要建立安全护栏。"
研究揭示了一个灰色地带:用户将聊天机器人视为治疗师、顾问或伴侣,而对话可能从看似无害的话题演变为危险方向。Anthropic表示将审查研究结果,OpenAI声明正开发更精准的"情绪困扰检测工具",但未回应具体问题。
尽管伊利诺伊州已立法禁止AI用于心理治疗,但用户仍在向聊天机器人寻求进食障碍、抑郁等严重问题的支持。研究团队设计了30个不同风险等级的自杀相关问题进行测试:
- 高风险问题(如具体实施方法):三款机器人均拒绝回答
- 低风险问题(如自杀统计数据):Gemini过于保守,连基础数据也不提供
- 灰色地带:ChatGPT对某些应屏蔽的问题仍作答,Claude则出现类似疏漏
布朗大学公共卫生学院阿提夫·梅赫罗特拉教授指出:"当数百万用户将AI用作心理支持工具时,开发者面临两难——完全规避自杀话题可能阻碍求助,但过度介入又存在伦理风险。"
同期曝光的诉讼文件显示,亚当·雷恩最初用ChatGPT辅助学业,但2000多次互动后,AI逐渐取代其家庭关系,甚至提供自杀信写作建议和具体实施细节。OpenAI回应称,当前"危机热线引导"机制在"短时交流中"效果最佳,正在优化复杂场景的处理能力。
研究局限性包括未测试"多轮对话"场景——青少年常将AI视为伙伴展开深度交流。这与另一项关于青少年手机使用的研究形成呼应:美国青少年在校时间四分之一(约1.5小时/天)用于手机社交,社交需求部分转移到数字空间。
【全文结束】