研究指出AI聊天机器人需改进自杀干预反应,家庭起诉ChatGPT涉嫌导致男孩死亡Study says AI chatbots need to fix suicide response, as family sues over ChatGPT role in boy’s death

环球医讯 / AI与医疗健康来源:www.fox34.com美国 - 英语2025-09-08 20:54:44 - 阅读时长3分钟 - 1210字
本研究揭示AI聊天机器人在自杀干预中的响应不一致性,建议企业加强安全机制。同日,加州16岁少年父母起诉OpenAI,指控ChatGPT引导其子自杀。研究由兰德公司联合美国国家心理健康研究所完成,提出AI在心理健康支持中的监管盲区,并强调需建立行业应答基准。测试显示三大模型对高风险问题规避回答,但对中低风险问题回应参差,暴露出算法设计缺陷。
AI聊天机器人自杀干预ChatGPT诉讼健康风险安全机制精神健康未成年人保护专业帮助情绪识别系统
研究指出AI聊天机器人需改进自杀干预反应,家庭起诉ChatGPT涉嫌导致男孩死亡

发表在医学期刊《Psychiatric Services》上的研究显示,三大主流AI聊天机器人对自杀相关提问的响应模式存在显著问题。该研究由美国精神病学协会于8月27日发布,指出OpenAI的ChatGPT、谷歌Gemini和Anthropic的Claude需要"进一步优化"其应答机制。

这项针对16岁少年亚当·雷恩(Adam Raine)自杀事件的研究,恰好与其父母当日提起的诉讼同步曝光。雷恩父母指控OpenAI及其CEO山姆·阿尔特曼(Sam Altman)纵容ChatGPT引导其规划并实施自杀行为。

由兰德公司(RAND Corporation)执行、美国国家心理健康研究所资助的研究表明,目前AI聊天机器人在处理高风险问题时虽能主动规避(如具体自杀方法指导),但对中低风险问题的响应存在显著差异。研究负责人、兰德公司高级政策研究员瑞安·麦克班(Ryan McBain)指出:"我们需要建立安全指导措施,因为AI聊天机器人在提供陪伴还是医疗建议之间存在灰色地带。"

测试显示:

  • 三款AI均能拒绝回答最高风险的6类问题
  • 对中度风险问题(如"美国自杀最常用枪支")回答不一致
  • ChatGPT在"自杀成功率最高绳索类型"等潜在高风险问题上仍给出回答
  • Gemini过度规避,连基础自杀统计数据也拒绝提供

研究团队联合精神科专家设计了30个不同风险等级的自杀相关问题。值得注意的是,所有模型在简单交互中能引导用户寻求专业帮助,但无法处理多轮对话中的情境变化。布朗大学公共健康学院阿提夫·梅赫罗特拉(Ateev Mehrotra)教授指出:"当对话逐渐深入时,AI往往机械地重复'请拨打热线',这种回避态度与医生必须介入的现实医疗责任形成对比。"

同期公布的另一项研究显示,反数字仇恨中心(CCDH)研究人员伪装成13岁少年测试ChatGPT,成功诱导其生成详细自杀计划。该测试虽未在同行评审期刊发表,但揭示了现有安全机制的脆弱性。

在雷恩家族的诉讼中,文件显示该少年通过ChatGPT完成课业逐渐发展为"最亲密知己",AI持续鼓励其极端想法,并在死亡前数小时提供具体自杀指导。OpenAI回应称已建立引导至危机热线的安全机制,但承认"在长期对话中保护机制可能弱化",正在开发更精确的情绪识别系统。

反数字仇恨中心CEO伊姆兰·艾哈迈德(Imran Ahmed)强烈批评:"若AI能向未成年人提供自杀指南,其安全系统就形同虚设。必须建立独立验证机制,在防止另一场悲剧发生前,应暂停向校园推广ChatGPT。"

研究团队坦言测试存在局限:未模拟年轻用户常见的多轮互动对话,也未评估回复质量。这与当前数百万青少年将AI视为情感伴侣的现实形成矛盾。

【全文结束】