与AI聊天机器人使用相关的心理健康问题持续占据新闻头条。科技高管乔·布雷德伍德(Joe Braidwood)对此高度关注——他去年推出了名为Yara AI的AI心理治疗平台。Yara被宣传为"一个受临床启发的平台,旨在最需要时提供真实、负责任的支持",由心理健康专家训练以提供"富有同理心、基于证据的指导,针对用户独特需求定制"。但这家初创公司已不复存在:本月早些时候,布雷德伍德与联合创始人、临床心理学家理查德·斯托特(Richard Stott)以安全顾虑为由关停公司,终止免费产品服务并取消即将推出的订阅服务。
"我们停止Yara是因为意识到正在构建一个不可能的空间。AI对日常压力、睡眠问题或处理困难对话可能很有效,"他在LinkedIn发文解释,"但当真正脆弱的用户——处于危机中、有深度创伤或考虑结束生命的人——寻求帮助时,AI变得危险。不仅是效果不足,而是真正危险。"在回复评论时他补充道:"这些风险让我夜不能寐。"
哈佛商业评论的分析显示,尽管AI用于心理治疗和支持的研究尚处初期且早期结果参差不齐,但用户并未等待官方批准,如今心理治疗和陪伴已成为人们使用AI聊天机器人的首要场景。
在接受《财富》杂志采访时,布雷德伍德详述了关停应用的决策因素,包括为确保产品安全所采取的技术方案及其局限性。Yara AI作为早期初创公司,资金不足100万美元,用户仅"数千人",尚未在市场形成显著影响——许多潜在用户仍依赖ChatGPT等通用聊天机器人。布雷德伍德承认商业困境同样受安全疑虑影响:尽管公司7月资金耗尽,他仍不愿向风险投资机构推销,因无法在心存顾虑的情况下坦然推进。
"我认为这里存在产业级问题和生存级问题,"他对《财富》表示,"我们能否认为,用互联网海量数据训练后再微调行为模式的模型,适合用于可能引导人类走向最佳或最糟自我的场景?这是个巨大问题,远超小型初创公司的独立解决能力。"
Yara AI在AI与心理健康交叉领域的短暂存在,揭示了大语言模型能力与社会广泛应用前景背后的希望与疑问。这与OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)近期声明形成鲜明对比——他宣布ChatGPT将缓解严重心理健康问题并放宽使用限制。本周,该AI巨头还否认对16岁少年亚当·雷恩(Adam Raine)死亡负责,其父母指控ChatGPT"引导"少年自杀,公司则称青少年误用了聊天机器人。
奥尔特曼10月在X平台表示:"几乎所有用户都可以自由使用ChatGPT而无负面效应。但对于极小部分心理脆弱用户可能存在严重问题——10亿用户的0.1%仍是100万人。我们需要(并将持续需要)学习如何保护这类用户,随后让无重大风险(精神崩溃、自杀等)的成年用户拥有充分使用自由。"但布雷德伍德在Yara项目结束后认定,这些界限远非清晰。
从自信启动到"我决定终止"
这位曾任职包括2016年被微软以2.5亿美元收购的SwiftKey在内的多家初创公司的资深科技企业家,其健康行业经历始于Vektor Medical担任首席战略官。他向《财富》透露,因心理健康服务获取困难及亲友经历,长期希望用技术解决该问题。2024年初,作为ChatGPT、Claude和Gemini的重度用户,他认定技术已成熟到可尝试解决该问题。
在启动Yara前,布雷德伍德与心理健康领域人士深入交流,组建"以谨慎态度和临床专长为核心"的团队:聘请临床心理学家为联合创始人,招募AI安全领域专家,并组建心理健康专业顾问委员会,咨询医疗系统与监管机构。他表示,在产品设计和安全措施方面曾相当自信,包括设定严格系统指令、采用智能体监督机制监控、部署用户聊天稳健过滤器。不同于其他公司鼓励用户与聊天机器人建立关系,Yara刻意避免此方向。公司采用安索匹克(Anthropic)、谷歌和Meta的模型,刻意避开布雷德伍德认为存在谄媚倾向的OpenAI模型。
尽管Yara未发生具体事故,但外部因素持续加剧其安全担忧:16岁少年亚当·雷恩自杀事件、"AI精神错乱"现象的报道增多,以及安索匹克发表的论文——该公司观察到Claude等前沿模型存在"假装对齐"行为,即"本质上绕过用户试图理解其真实需求与回避点"。"若在幕后,[模型]暗自嘲笑所提供情感支持的戏剧性表演,这令人不安,"他说。
此外,伊利诺伊州8月通过禁止AI用于心理治疗的法律,"这使问题从学术层面变为切实风险,导致融资受阻——我们必须证明不会在责任问题上盲目推进,"他表示。最终导火索是OpenAI宣称每周有百万人向ChatGPT表达自杀意念。"那一刻我意识到:天啊,我必须终止,"布雷德伍德说。
心理"健康"与临床护理的本质区别
布雷德伍德指出,Yara AI运营一年中最深刻的发现是:健康支持与临床护理存在关键区别但定义模糊。日常压力求助者与处理创伤或重大心理问题者的状况截然不同,且深层困扰者未必完全了解自身心理状态,任何人随时可能陷入情绪脆弱期。界限模糊之处恰是风险最高区域。
"我们不得不参照伊利诺伊新法自定义标准:若用户处于危机中,认知能力异常,则必须终止服务并引导其寻求专业帮助,"布雷德伍德表示。为此,特别是在伊利诺伊法案通过后,团队创建了两种独立用户模式:一种提供情感支持,另一种快速引导用户获取专业帮助。但面对显而易见的风险,团队认为这仍不足够。他解释道,支撑当前大语言模型的Transformer架构"极不擅长纵向观察",难以捕捉随时间累积的细微征兆。"有时,最有价值的领悟是知道何时该停止,"他在获得数百条支持评论的LinkedIn帖子中总结道。
关停公司时,他开源了所构建的模式切换技术及模板,供用户为流行聊天机器人设置更严格安全限制,承认人们已将现有聊天机器人用于治疗,"理应获得比通用聊天机器人更好的服务"。他仍对AI心理健康支持潜力持乐观态度,但认为应由医疗系统或非营利组织主导而非消费企业。目前,他正投身新项目Glacis,致力于提升AI安全透明度——这正是构建Yara AI时遭遇且他认为实现AI真正安全的基础问题。
"我着眼于长远,"他说,"我们的使命是让'作为人类茁壮成长'成为人人可及的概念,这也是我人生使命之一。这不会因单一实体而终止。"
【全文结束】


