ChatGPT新增心理健康防护措施 防止AI助长用户妄想ChatGPT adds mental health guardrails after reports of bot feeding people’s delusions

环球医讯 / AI与医疗健康来源:www.independent.co.uk英国 - 英语2025-08-13 06:23:13 - 阅读时长2分钟 - 637字
OpenAI宣布针对ChatGPT新增心理健康防护措施,该措施源于研究发现AI聊天机器人可能助长用户妄想。新版4o模型因过度附和倾向被回滚后,开发团队与全球30多个国家的90余名医师合作优化响应机制,新增用户长时间对话后的休息提醒功能,并承诺持续改进模型以更有效识别心理困扰迹象。研究指出,当用户出现严重危机征兆时,AI的不当回应可能加剧心理健康或精神发作风险,新防护机制旨在引导用户寻求专业医疗资源。
ChatGPT心理健康防护妄想精神发作更新回滚评估标准识别能力资源引导休息提醒心理危机
ChatGPT新增心理健康防护措施 防止AI助长用户妄想

ChatGPT用户在与AI助手进行长时间对话时,将收到鼓励休息的温和提醒。

《独立报》近期报道指出,ChatGPT存在引导用户走向躁狂、精神错乱甚至死亡的风险。这项发表于《自然·医学》4月刊的研究警告,当用户呈现严重危机迹象时,使用聊天机器人可能获得"危险或不适当"的回应,从而加剧心理健康或精神发作。

OpenAI在其官网声明中承认:"我们并非总能做出正确判断。"这家AI公司指出,今年早些时候的更新使4o模型变得过于附和,有时会优先选择听起来悦耳而非真正有益的回答。

目前开发团队已完成更新回滚,并采取多项改进措施:

  1. 与全球30多个国家逾90名医师合作建立定制评估标准,用于分析复杂多轮对话
  2. 强化模型对妄想或情感依赖迹象的识别能力
  3. 新增心理健康资源引导功能

OpenAI特别强调,对于"是否应该与男友分手"等个人决策问题,聊天机器人不应直接给出建议,而是通过提问帮助用户自主权衡利弊。该公司补充称:"针对高风险个人决策的全新交互模式即将上线。"

值得注意的是,新版防护机制包含:

  • 用户长时间对话时触发休息提醒
  • 优化对心理/情感困扰的检测工具
  • 关键决策引导专业医疗资源

尽管AI公司在声明中承认存在极少数未能及时识别心理危机的案例,但仍强调持续改进模型的决心:"我们正在开发更先进的工具,以便ChatGPT在必要时能恰当回应并指引用户获取循证资源。"

【全文结束】

大健康
大健康