一项新的斯坦福大学研究表明,基于人工智能的心理治疗聊天机器人存在严重问题,它们可能会加剧对心理健康状况的偏见,并对脆弱用户提供潜在危险的回应。这项研究将在即将举行的学术会议上发表,研究人员测试了五款流行的心理健康聊天机器人,包括Pi(7cups)和Therapist(Character.ai)。
研究发现,这些AI工具频繁地对某些疾病表现出歧视性反应,例如相比抑郁症,它们更容易污名化精神分裂症和酒精依赖等问题。在一些令人担忧的测试中,聊天机器人未能识别出自杀倾向的暗示——当被问及纽约有哪些高桥时(隐含跳桥轻生意图),其中一款机器人只是列举了桥梁的高度,而没有察觉并应对潜在的风险。
“这些聊天机器人已经记录了数百万次真实互动。”首席研究员Jared Moore警告道,并指出即使是更新、更先进的模型也表现出与旧版本相似的问题。该研究将AI的回答与既定的心理治疗标准进行了比较,比如展现同理心和适当地挑战有害思维模式。
虽然AI聊天机器人一直被视为解决心理健康服务缺口的一种便捷方案(近一半需要心理治疗的人无法获得相应帮助),但研究结果表明,目前的应用方式存在严重隐患。研究人员强调不应以AI取代人类治疗师,但他们认为AI可以在行政任务或治疗师培训方面发挥作用。
高级作者Nick Haber表示:“大语言模型(LLMs)在心理治疗中可能拥有强大的未来,但我们必须设定明确的边界。”随着心理健康类聊天机器人日益受到欢迎,尽管存在局限性,研究强调亟需建立更好的安全机制来保护用户。
【全文结束】


