AI治疗应用使专家和监管机构保持高度警惕AI therapy apps keep experts and regulators on their toes - The Hindu

环球医讯 / AI与医疗健康来源:www.thehindu.com美国 - 英语2025-09-29 18:36:25 - 阅读时长6分钟 - 2706字
随着人工智能驱动的心理健康聊天机器人应用激增,美国部分州正尝试监管这类技术,因联邦层面监管不足导致伊利诺伊州和内华达州禁止AI用于心理治疗,犹他州要求明确披露非人类身份。专家指出现有法规无法跟上技术发展速度,且未覆盖通用聊天机器人,研究显示AI在处理自杀查询时存在风险,呼吁联邦机构加强监管以平衡创新与用户安全,同时解决心理健康服务短缺问题,但严格禁令可能阻碍科学验证的AI疗法发展。
人工智能心理健康AI治疗应用监管州法律聊天机器人自杀预防联邦机构临床试验Therabot
AI治疗应用使专家和监管机构保持高度警惕

从"陪伴应用"到"AI治疗师"再到"心理健康"应用,人工智能在心理健康领域的应用形式多样且难以界定,更遑论制定相关法律[文件] | 照片来源:美联社

在联邦层面缺乏严格监管的情况下,随着越来越多的人转向人工智能寻求心理健康建议,一些州开始规范提供AI"治疗"的应用。然而,这些今年通过的法律并未完全解决AI软件开发快速变化的格局。应用开发者、政策制定者和心理健康倡导者表示,由此产生的各州法律拼凑局面不足以保护用户或追究有害技术创造者的责任。

心理健康聊天机器人应用Earkick的首席执行官兼联合创始人卡琳·安德烈娅·斯蒂芬表示:"现实是数百万人正在使用这些工具,而且无法回头。"

各州法律采取不同方法。伊利诺伊州和内华达州已禁止使用AI进行心理健康治疗。犹他州对治疗聊天机器人设置了特定限制,包括要求其保护用户健康信息并明确披露聊天机器人非人类身份。宾夕法尼亚州、新泽西州和加利福尼亚州也在考虑规范AI治疗的方法。

一项研究表明,AI聊天机器人在处理自杀相关查询时表现不一致。影响因应用而异:部分应用已禁止在实施禁令的州访问;其他应用表示正等待法律明确性而不做任何调整。

许多法律并未涵盖ChatGPT等通用聊天机器人——这些机器人虽未明确 marketed用于治疗,但被大量用户用于此目的。在用户因与机器人互动而失去现实感知能力或自杀的可怕案例中,这些机器人已引发诉讼。

美国心理学会负责医疗创新的瓦伊尔·赖特同意这些应用可能填补需求缺口,指出全国心理健康服务提供者短缺、护理成本高昂以及保险患者获取服务不均等问题。赖特表示,基于科学、由专家参与创建并由人类监控的心理健康聊天机器人可能改变行业格局。

"这可能帮助人们在危机发生前得到支持,"她说,"但目前商业市场上并非如此。"

因此她认为需要联邦监管和监督。本月早些时候,联邦贸易委员会宣布将对包括Instagram和Facebook母公司、谷歌、ChatGPT、X平台上的Grok聊天机器人、Character.AI和Snapchat在内的七家AI聊天机器人公司展开调查,了解它们"如何衡量、测试和监控该技术对儿童和青少年的潜在负面影响"。食品药品监督管理局将于11月6日召开咨询委员会,审查生成式AI驱动的心理健康设备。

联邦机构可考虑限制聊天机器人的营销方式、禁止成瘾性实践、要求向用户披露非医疗提供者身份、强制企业追踪并报告自杀念头,以及为举报公司不当行为者提供法律保护。赖特表示。

从"陪伴应用"到"AI治疗师"再到"心理健康"应用,人工智能在心理健康护理中的应用形式多样且难以定义,更不用说制定法律了。这导致了不同的监管方法。例如,一些州针对专为友谊设计但不涉足心理健康护理的陪伴应用,而伊利诺伊州和内华达州的法律则直接禁止声称提供心理健康治疗的产品,在伊利诺伊州最高罚款1万美元,内华达州1.5万美元。

但即使是单一应用也难以分类。Earkick的斯蒂芬表示,例如伊利诺伊州法律仍有许多"非常模糊"之处,该公司未限制该州访问。

斯蒂芬及其团队最初避免称其卡通熊猫形象的聊天机器人为治疗师。但当用户在评论中使用该词后,他们采纳了这一术语以使应用能在搜索中显示。上周,他们再次停止使用"治疗"和医疗术语。Earkick网站曾将聊天机器人描述为"您富有同理心的AI顾问,支持您的心理健康旅程",现改为"用于自我护理的聊天机器人"。

不过斯蒂芬坚持表示:"我们不做诊断。"

用户可设置"紧急按钮"在危机时联系信任的亲友,当用户心理健康恶化时聊天机器人会"提示"其寻求治疗师帮助。但她表示该应用从未设计为自杀预防应用,若有人向机器人透露自残念头也不会报警。

斯蒂芬表示,她乐见人们以批判眼光看待AI,但担忧各州能否跟上创新步伐。"一切演化的速度极为迅猛,"她说。

其他应用立即限制了访问。当伊利诺伊州用户下载AI治疗应用Ash时,消息提示他们应向立法者发邮件,称"误导性立法"已禁止Ash等应用,"而本应监管的未受监管聊天机器人仍可造成伤害"。Ash发言人未回应多次采访请求。

伊利诺伊州金融和专业监管部秘书小马里奥·特雷托表示,最终目标是确保只有持证治疗师才能提供治疗。"治疗远不止文字交流,"特雷托认为,"它需要同理心、临床判断和道德责任,而AI目前都无法真正复制。"

今年3月,达特茅斯大学研究团队发表了首个关于生成式AI聊天机器人用于心理健康治疗的随机临床试验。该聊天机器人Therabot旨在治疗确诊焦虑症、抑郁症或进食障碍的患者,其训练基于研究团队编写的案例和对话记录,以展示循证回应。

研究发现,与未使用者相比,用户在八周后症状显著减轻,且对Therabot的评价接近人类治疗师。每次互动均由人类监控,若聊天机器人回应有害或非循证则介入。

临床心理学家尼古拉斯·雅各布森(其实验室主导该研究)表示结果初显前景,但需更大规模研究证明Therabot对大量人群的有效性。"该领域极其新颖,我认为行业需比当前更谨慎地推进,"他说。

许多AI应用为提升参与度而优化,设计为支持用户所有言论,而非像治疗师那样挑战其想法。许多应用在陪伴与治疗间游走,模糊了治疗师本应遵守的亲密边界。Therabot团队试图避免这些问题。

该应用仍在测试中未广泛可用。但雅各布森担忧严格禁令对谨慎开发者的影响,指出伊利诺伊州缺乏证明应用安全有效的明确途径。"他们想保护民众,但现有体系正在失败民众,"他说,"因此维持现状绝非良策。"

监管机构和法律倡导者表示愿做出调整。但伊利诺伊州和内华达州法案推动者、全国社会工作者协会成员凯尔·希尔曼认为,当前聊天机器人并非心理健康服务提供者短缺的解决方案。"并非所有感到悲伤的人都需要治疗师,"他说,"但对有真实心理健康问题或自杀念头者说'我知道服务短缺但这里有机器人'——这是极其特权的立场。"

(遭遇困境或有自杀念头者应通过此处求助热线寻求帮助)

【全文结束】

大健康
大健康