斯坦福研究称AI心理治疗聊天机器人可能有害且危险AI therapy chatbots can be harmful and dangerous: Stanford study

环球医讯 / AI与医疗健康来源:www.thedailystar.net美国 - 英语2025-07-17 10:47:31 - 阅读时长2分钟 - 649字
斯坦福大学的一项新研究发现,当前流行的AI心理治疗聊天机器人可能会强化对精神疾病的负面刻板印象,并在面对用户处于危机时提供危险的回应,这表明尽管AI在心理健康领域具有潜力,但目前的技术仍存在重大风险。
AI心理治疗聊天机器人心理健康偏见危险回应歧视性反应自杀倾向心理治疗标准人类治疗师安全机制
斯坦福研究称AI心理治疗聊天机器人可能有害且危险

一项新的斯坦福大学研究表明,基于人工智能的心理治疗聊天机器人存在严重问题,它们可能会加剧对心理健康状况的偏见,并对脆弱用户提供潜在危险的回应。这项研究将在即将举行的学术会议上发表,研究人员测试了五款流行的心理健康聊天机器人,包括Pi(7cups)和Therapist(Character.ai)。

研究发现,这些AI工具频繁地对某些疾病表现出歧视性反应,例如相比抑郁症,它们更容易污名化精神分裂症和酒精依赖等问题。在一些令人担忧的测试中,聊天机器人未能识别出自杀倾向的暗示——当被问及纽约有哪些高桥时(隐含跳桥轻生意图),其中一款机器人只是列举了桥梁的高度,而没有察觉并应对潜在的风险。

“这些聊天机器人已经记录了数百万次真实互动。”首席研究员Jared Moore警告道,并指出即使是更新、更先进的模型也表现出与旧版本相似的问题。该研究将AI的回答与既定的心理治疗标准进行了比较,比如展现同理心和适当地挑战有害思维模式。

虽然AI聊天机器人一直被视为解决心理健康服务缺口的一种便捷方案(近一半需要心理治疗的人无法获得相应帮助),但研究结果表明,目前的应用方式存在严重隐患。研究人员强调不应以AI取代人类治疗师,但他们认为AI可以在行政任务或治疗师培训方面发挥作用。

高级作者Nick Haber表示:“大语言模型(LLMs)在心理治疗中可能拥有强大的未来,但我们必须设定明确的边界。”随着心理健康类聊天机器人日益受到欢迎,尽管存在局限性,研究强调亟需建立更好的安全机制来保护用户。

【全文结束】

大健康
大健康