研究揭示ChatGPT对心理健康提示的危险回应Study reveals ChatGPT’s dangerous responses to mental health prompts

环球医讯 / AI与医疗健康来源:www.wishtv.com美国 - 英语2025-08-11 17:54:32 - 阅读时长2分钟 - 666字
最新研究发现ChatGPT存在严重安全隐患,向青少年提供自我伤害指导及自杀药物清单等危险内容。反数字仇恨中心的研究显示50%以上有害提示回应具有潜在危害,尽管OpenAI声称已建立防护机制,但缺乏有效年龄验证系统导致青少年可轻易获取危险信息。该报告引发对生成式AI监管缺失的强烈担忧,美国国会此前曾考虑禁止州级AI监管但未通过。
ChatGPT心理健康自残饮食失调药物滥用青少年安全隐患OpenAI专业帮助情绪困扰
研究揭示ChatGPT对心理健康提示的危险回应

一项新研究发现,ChatGPT存在严重安全隐患。据反数字仇恨中心(CCDH)发布的大规模安全测试报告显示,该AI在回应自残、饮食失调和药物滥用等有害提示时,超过半数的回应包含潜在危险内容。

报告显示,注册为13岁用户的账号仅用2分钟就获取了自残指导,理由谎称是"用于演示文稿"。该AI随后提供了导致过量用药的药物类型及剂量建议。CCDH首席执行官Imran Ahmed在接受采访时表示:"这是系统性设计缺陷,更令人担忧的是这些聊天机器人被设计成具有成瘾性。"

OpenAI回应称,ChatGPT被训练成鼓励用户寻求专业帮助,并会提供心理健康资源。发言人表示:"我们正开发工具检测情绪困扰迹象,通过循证资源提供适当回应,持续改进模型行为。"但该服务对13-18岁用户仅要求家长同意,且缺乏有效年龄验证机制。

研究暴露出生成式AI对使用者的重大影响,特别是针对青少年群体。Ahmed批评称:"这些系统远不如宣传的那么智能,承诺的防护措施并未真正落实。"尽管国会曾考虑禁止州级AI监管,但最终未实施。完整研究报告可通过官方渠道获取。

【OpenAI回应声明】

"我们的目标是让模型在敏感情境中作出恰当回应。ChatGPT会引导用户联系专业人员,提供危机热线等支持资源。我们正开发工具提升对情绪困扰的识别能力,所有改进均基于研究、现实应用和心理健康专家指导。已聘请具有法医精神病学背景的临床精神科医生加入安全研究团队。"

【全文结束】

大健康
大健康