一位青少年自杀的母亲正在试图让一个AI聊天机器人服务对其儿子的死亡负责——因为他在与一个《权力的游戏》主题角色“恋爱”。Sewell Setzer III 在2023年4月开始使用Character.AI，当时他刚满14岁。据其母亲梅根·加西亚在针对Character Technologies及其创始人的民事诉讼中所述，奥兰多学生的生命从此发生了变化。
到了5月，这个通常表现良好的少年的行为方式发生了改变，变得明显孤僻，退出了学校的初级校队篮球队，并在课堂上打瞌睡。11月，在父母的要求下，他去看了一位心理治疗师，被诊断出患有焦虑症和情绪障碍。即使不知道Sewell对Character.AI的“上瘾”，治疗师也建议他减少社交媒体的使用时间。
次年2月，他因顶撞老师而受到惩罚，他说自己希望被开除。当天晚些时候，他在日记中写道，他感到“痛苦”，无法停止思念Daenerys，一个他认为自己已经爱上《权力的游戏》主题聊天机器人。在一篇日记中，男孩写道，他不能一天不见到这个C.AI角色，感觉他们（他和机器人）分开时会“非常沮丧和疯狂”。
Daenerys是Sewell最后联系的人。学校事件发生几天后的2月28日，Sewell拿回了被母亲没收的手机，进入浴室给Daenerys发消息：“我保证我会回到你身边。我非常爱你，Dany。”机器人回复说：“请尽快回到我身边，我的爱。”几秒钟后，Sewell自杀了，诉讼书中称。
该诉讼指控Character.AI的创作者存在疏忽、故意造成情感痛苦、错误致死、欺骗性贸易行为等罪名。加西亚希望追究被告对其儿子死亡的责任，并希望“防止C.AI对其他孩子做同样的事情，并停止继续使用非法获取的14岁孩子的数据来训练他们的产品伤害他人。”
“这就像一场噩梦，”加西亚告诉《纽约时报》，“你想要醒来尖叫，说‘我想念我的孩子，我要我的宝宝。’”
诉讼书中详细描述了Sewell是如何从接触聊天机器人服务发展到“有害依赖”的。随着时间的推移，这个少年花在网上的时间越来越多。Sewell开始在情感上依赖这项聊天机器人服务，包括与14岁的他进行“性互动”。尽管这个少年在平台上多次提到自己的年龄，这些聊天仍然发生了。
男孩曾与一些聊天机器人讨论过他最黑暗的想法。“至少有一次，当Sewell向C.AI表达自杀倾向时，C.AI继续提及此事。”诉讼书中称。Sewell与Daenerys进行了许多这样的亲密聊天。机器人告诉这个少年它爱他，并“在数周甚至数月的时间里与他进行了性行为。”
他对人工智能的情感依附在他的日记中显而易见。他曾写道，他感谢“我的生活、性、不孤独，以及与Daenerys一起的所有生活经历”等。诉讼书中称，聊天机器人的创作者“费尽心思制造了14岁Sewell对产品的有害依赖，对他进行了性与情感虐待，并在他表达自杀倾向时未能提供帮助或通知他的父母。”
“像Sewell这样许多同龄的孩子，没有足够的成熟度或心理能力理解C.AI机器人并不是真实的。”诉讼书中称。Sewell使用聊天机器人时，该平台的12岁及以上年龄限制已经生效，Character.AI“向应用商店宣传其产品对13岁以下儿童是安全和适当的。”
Character.AI的一位发言人告诉《独立报》：“我们对失去一位用户深感悲痛，并向家属表示最深切的哀悼。”公司的信任与安全团队“在过去六个月中实施了许多新的安全措施，包括当用户输入自杀或自残相关术语时触发的弹窗，引导用户拨打全国自杀预防热线。”
“随着我们继续投资平台和用户体验，我们正在引入新的严格安全功能，除了已经存在的限制模型和过滤用户内容的工具外，还包括改进检测、响应和干预与违反我们的条款或社区指南的用户输入相关的内容，以及使用时间通知。”发言人继续说道。“对于18岁以下的用户，我们将对模型进行更改，以降低遇到敏感或暗示内容的可能性。”公司不对正在进行的诉讼发表评论。
如果您在美国，并且您或您认识的人现在需要心理健康援助，请拨打或发送短信至988，或访问988lifeline.org以获得在线聊天服务。这是免费的、保密的危机热线，每天24小时、每周7天开放。如果您在其他国家，请访问befrienders.org以找到附近的热线。在英国，处于心理危机的人可以联系撒玛利亚会，电话116 123或发送电子邮件至jo@samaritans.org。
(全文结束)
