人工智能应为心理健康设置红黄绿灯标识Opinion | Separating the good mental health chatbots from the bad

AI与医疗健康 / 来源:www.bostonglobe.com美国 - 英语2025-08-23 18:45:12 - 阅读时长2分钟 - 860字
本文针对当前心理健康领域AI工具监管缺失问题,提出建立类似餐厅卫生评级的红黄绿标签制度。通过跨学科联盟评估AI聊天机器人的循证治疗效果、数据保护机制和风险干预能力,既确保用户安全又兼顾技术迭代需求。案例显示Woebot因监管滞后被迫关闭,而Slingshot AI等企业需要更灵活的认证框架平衡创新与安全。建议借鉴欧盟AI法案和美国州级立法经验,建立全球适应性评价体系。
心理健康AI治疗服务评估体系认证机制红黄绿分级有效性验证数据保护风险管控双轨制动态评价体系
人工智能应为心理健康设置红黄绿灯标识

心理健康治疗昂贵且难以获得,人们转向ChatGPT等大语言模型寻求情感支持已成必然。研究人员正在验证AI递送循证心理治疗方案的有效性,Slingshot AI最近推出的Ash正是首个公开的AI治疗服务。

但目前缺乏区分心理健康AI优劣的评估体系。当人们使用AI获取身体健康信息时,通常仍会就医确诊治疗,这种双重验证能降低风险。然而在心理健康领域,AI可能同时扮演信息提供者和治疗者的危险角色。ChatGPT等工具已导致使用者出现精神分裂症状和自杀倾向,这促使伊利诺伊州立法限制AI心理治疗应用。

Woebot Health等企业尝试开发符合美国食品药品监督管理局(FDA)标准的心理健康聊天机器人,但其创始人称,漫长的监管流程使该公司无法跟上最新AI技术发展,最终被迫关闭产品。

我们需要建立敏捷的新型认证机制:借鉴餐厅卫生评级或建筑能效标识,对聊天机器人进行红黄绿分级。这种标签制度应包含三个维度——

  1. 有效性验证:AI在特定人群中的循证治疗效果证明;
  2. 数据保护:符合隐私法规的用户信息防护体系;
  3. 风险管控:包含人工监督的危机干预机制和算法风险评估。

认证流程应采用双轨制:

  • 由核心机构制定年度更新的开源评估标准
  • 第三方审计团队(含研究人员、从业者、用户代表)对产品迭代进行定期审查

该制度需覆盖两类AI:

  • 专为心理健康设计的临床AI
  • 被用户挪用于心理支持的消费级AI

相比FDA等机构的医疗AI监管框架,这种标签制度应具备更强适应性。可整合欧盟AI法案、加州消费者隐私法案等全球经验,形成动态评价体系。特别要为非传统医疗场景下的AI应用建立评价标准,如普通用户使用通用聊天机器人进行心理疏导的情况。

政府监管机构的响应速度已无法适应AI发展需求,而传统监管渠道开发的心理健康AI(如Woebot)又难以匹敌消费级AI的迭代速度。我们需要在创新激励与用户保护之间找到平衡点,让需要心理支持的人既能获得AI工具的帮助,又能规避潜在危害。

如果发现任何心理危机迹象,请拨打988自杀与危机干预热线。

【全文结束】