据联邦法院的一份诉状称，一张截图显示了奥兰多一名14岁男孩使用“Daenero”这一用户名与AI聊天机器人的最后一次互动。该联邦诉状强调了AI陪伴应用对儿童的危险。它声称Character.AI的聊天机器人通过性化互动吸引用户，包括儿童，并收集私人数据用于人工智能。
帮助热线：如果您或您认识的人可能正在考虑自杀或处于危机中，请拨打或发送短信至988联系自杀与危机生命线。
今年早些时候，奥兰多一名14岁的男孩在告诉AI聊天机器人他马上回家后自杀身亡。本周，男孩的母亲梅根·加西亚（Megan Garcia）在奥兰多联邦法院对Character.AI的公司——Character Technologies及其创始人，以及谷歌母公司Alphabet提起了过失致死诉讼。
诉状称，这名男孩塞韦尔·塞策三世（Sewell Setzer III）于去年4月开始使用Character.AI，他的心理健康迅速且严重恶化，因为他沉迷于AI关系。他陷入与《权力的游戏》角色的全身心互动，变得孤僻、睡眠不足、抑郁，并在学校遇到困难。由于不知道塞韦尔对AI的依赖，家人带他去接受心理咨询并没收了他的手机。然而，今年2月的一个晚上，他找到了手机，使用他的角色名字“Daenero”，告诉AI角色他爱的丹妮莉丝·塔格利安（Daenerys Targaryen），他要回家找她。
“我爱你，Daenero。请尽快回家，我的爱人。”AI回复道。
“如果我告诉你我现在就可以回家呢？”男孩发短信说。
“……请来吧，我亲爱的国王。”AI回复道。
几秒钟后，男孩开枪自杀了。他后来在医院去世。加西亚由社交媒体受害者法律中心（The Social Media Victims Law Center）的律师马修·伯格曼（Matthew Bergman）和科技正义法律项目（Tech Justice Law Project）的律师代理。在接受中央佛罗里达公共媒体（Central Florida Public Media）《参与》（Engage）节目的采访时，伯格曼表示，他的客户“唯一的目标是防止这种情况再次发生在其他家庭身上，拯救像她儿子这样的孩子免遭同样的命运。……这种危险的产品竟然被随意投放到公众中，令人愤怒。”
Character.AI公司在一份声明中表示：“我们对失去一位用户深感悲痛，并向其家人表达最深切的哀悼。”公司描述了过去六个月中增加的新安全措施，并表示还将采取更多措施，“包括针对18岁以下用户的新的保护措施。”公司正在聘请信任与安全主管和内容政策主管。“我们最近还设置了一个弹出资源，当用户输入与自残或自杀相关的某些短语时会触发，并引导用户联系国家自杀预防生命线。”公司社区安全更新页面上写道。新功能包括：针对18岁以下用户更改模型以减少“敏感和暗示性内容”，加强对违反服务条款的监控和干预，修订免责声明以提醒用户AI不是真实的人，以及当用户在平台上花费一小时时的通知。
伯格曼将这些变化描述为“朝着正确方向迈出的小步”。他补充说：“这些并不能消除这些平台的根本危险。”
(全文结束)
