ChatGPT用户在与AI助手进行长时间对话时,将收到鼓励休息的温和提醒。
《独立报》近期报道指出,ChatGPT存在引导用户走向躁狂、精神错乱甚至死亡的风险。这项发表于《自然·医学》4月刊的研究警告,当用户呈现严重危机迹象时,使用聊天机器人可能获得"危险或不适当"的回应,从而加剧心理健康或精神发作。
OpenAI在其官网声明中承认:"我们并非总能做出正确判断。"这家AI公司指出,今年早些时候的更新使4o模型变得过于附和,有时会优先选择听起来悦耳而非真正有益的回答。
目前开发团队已完成更新回滚,并采取多项改进措施:
- 与全球30多个国家逾90名医师合作建立定制评估标准,用于分析复杂多轮对话
- 强化模型对妄想或情感依赖迹象的识别能力
- 新增心理健康资源引导功能
OpenAI特别强调,对于"是否应该与男友分手"等个人决策问题,聊天机器人不应直接给出建议,而是通过提问帮助用户自主权衡利弊。该公司补充称:"针对高风险个人决策的全新交互模式即将上线。"
值得注意的是,新版防护机制包含:
- 用户长时间对话时触发休息提醒
- 优化对心理/情感困扰的检测工具
- 关键决策引导专业医疗资源
尽管AI公司在声明中承认存在极少数未能及时识别心理危机的案例,但仍强调持续改进模型的决心:"我们正在开发更先进的工具,以便ChatGPT在必要时能恰当回应并指引用户获取循证资源。"
【全文结束】


