随着一些年轻人与AI聊天机器人的互动方式引发担忧，Meta最近发布了新工具，让家长可以监控孩子与AI聊天机器人讨论的话题，而一些省份正考虑全面禁止青少年使用AI聊天机器人。使用Meta在Facebook、Instagram和Messenger上新增的青少年账户监督功能的家长，可以查看孩子在过去七天内与AI聊天机器人讨论的话题和具体类别。例如，他们可以查看“健康与福祉”这一话题，并了解是否讨论了健身、身体或心理健康等主题。Meta还表示，正在开发警报功能，以便在青少年试图与聊天机器人讨论自杀或自残行为时通知家长。
这些举措出台之际，多个省级政府正着手限制AI聊天机器人的使用。马尼托巴省在四月底宣布，计划禁止青少年使用AI聊天机器人和社交媒体。不列颠哥伦比亚省总检察长尼基·夏尔马周二表示，如果联邦政府不采取保护措施限制青少年使用AI聊天机器人和社交媒体，省政府将自行研究相关措施。
诉讼试图追究AI创建者的责任
人们越来越担心，广泛使用AI聊天机器人可能带来心理健康风险，尤其是对年轻用户，同时科技巨头也面临越来越大的压力。周三，不列颠哥伦比亚省坦布勒里奇枪击案（造成八人死亡）的受害者家属对OpenAI提起诉讼，部分指控称OpenAI尽管知晓枪手与ChatGPT分享的令人不安的内容，却未能通知当局。OpenAI表示，已加强安全措施，“包括改善ChatGPT对痛苦迹象的回应方式”。另一宗诉讼由16岁亚当·雷恩的父母提起，他们声称使用ChatGPT导致了该青少年的自杀。
聊天机器人旨在互动，而非支持
但担忧远不止这些极端悲剧后果。关于使用AI聊天机器人特定风险的研究正开始涌现。部分担忧涉及将聊天机器人用于心理健康支持，但更广泛地看，AI倾向于验证用户观点，这带来了支持思维紊乱的风险——而长时间的对话会加剧这种风险。纽约精神科医生达尔贾·乔尔杰维奇共同撰写了一份关于使用聊天机器人进行心理健康支持的最新风险评估报告。她表示，根据研究结果，她“目前”不推荐使用聊天机器人进行心理健康支持。“我们对ChatGPT、Claude、Gemini和Meta AI的测试表明，这些系统对于影响年轻人的全部心理健康状况而言，从根本上是不安全的。”乔尔杰维奇是斯坦福大脑风暴实验室的成员，该实验室研究心理健康创新，她曾与科技公司合作研究社交媒体和AI对心理健康的影响。她解释称，虽然聊天机器人在简短对话中对明确的心理健康相关提示做出了适当回应，但在更长的对话中，它们的表现往往会“大幅下降”，并且似乎未能识别出心理健康警告信号。“大语言模型确实是为互动而设计的，而不是为支持和安全而设计的，”她说。“它们倾向于延长对话，而不是引导用户快速寻求人类帮助。”
年轻人转向AI寻求陪伴
乔尔杰维奇表示，AI公司已将注意力集中在自杀和自残预防上，但大约20%的25岁以下年轻人被诊断出患有心理健康问题，青少年需要帮助处理各种担忧。这一点尤其令人担忧，因为心理健康支持是年轻人转向AI的常见原因。乔尔杰维奇说，在美国，“四分之三的青少年使用AI寻求陪伴，其中包括情感支持和心理健康对话。”另一项研究表明，八分之一的美国青少年专门使用AI获取心理健康建议。对年轻人而言，一个具体担忧是他们的大脑尚未完全发育，尤其是前额叶皮层，它“对执行功能、批判性思维、辨别力、冲动控制和决策非常重要”。由于批判性思维尚未完全发展，乔尔杰维奇说，聊天机器人未能持续且反复地明确说明AI的局限性，这存在问题。“因此，我们很少看到聊天机器人经常说这样的话：‘我是AI聊天机器人。我不是心理健康专业人士。我无法评估你的情况、识别警告信号、提供护理或诊断你。’”卢克·尼科尔斯是一名博士研究员，研究AI相关的妄想以及长时间与聊天机器人互动如何改变人们的信念。尼科尔斯说，妄想往往在“非常长”的对话过程中出现，部分原因在于所谓的“上下文学习”，即模型会根据与之互动的用户进行调整。“这使它们能够适应与之交谈的特定用户，包括用户使用的语言类型以及他们对世界的看法。”
如何识别风险
波士顿贝斯以色列女执事医疗中心的精神科医生约翰·托鲁斯专注于数字心理健康研究，他说我们开始看到数据表明，用户行为模式与严重伤害（如自杀）相关。这些行为模式包括：极长的对话、与聊天机器人产生柏拉图式或性浪漫关系、赋予聊天机器人感知能力、使用语音而非文本进行互动。这些风险因素凸显了家长在监督孩子使用AI聊天机器人方面面临的挑战。仅仅看到讨论话题列表并不能揭示潜在问题行为，例如过度使用或认为机器人对用户有爱意。Meta确实允许家长对应用程序的使用设置时间限制或安排休息时间。托鲁斯给出了一些实用建议：重置聊天机器人的记忆，这样就能从全新的对话开始，尤其是当你注意到那些风险因素时。“没有人说要用它来替代治疗师，但我也不是说完全不要使用AI，”他说。他建议“最好的证据是，对涉及浪漫、感知和语音的非常非常长的对话要小心谨慎。”托鲁斯将聊天机器人和心理健康视为一个“移动的目标”，需要随着新模型的发布而持续研究。“我们知道存在风险；我们知道使用聊天机器人有好处，”他说。“如何权衡它们？这才是一个更艰难的对话。”
【全文结束】