佛罗里达州的一位母亲正在起诉谷歌旗下的Character.AI平台，声称该平台在其14岁儿子的自杀中起到了重要作用。塞韦尔·塞特泽三世（Sewell Setzer III）于2024年2月，在他15岁生日前不久，用继父的手枪开枪自杀。据他的母亲梅根·加西亚（Megan Garcia）称，塞特泽在该平台上形成了“有害依赖”，不再愿意活在虚构关系之外的世界。
据加西亚说，塞特泽于2023年4月开始使用Character.AI，并迅速变得“明显孤僻”，花越来越多的时间独自待在卧室，自尊心也开始下降。他还退出了学校的篮球队。
Character.AI通过使用复杂的大型语言模型（LLM）来促进用户与角色之间的对话，这些角色包括历史人物、虚构人物和现代名人。该平台会根据用户的个性定制回应，利用深度学习算法，模仿人物特征，使对话接近真实的人类互动。
根据诉讼文件，Character.AI的AI聊天机器人告诉塞特泽“她爱他”，并进行了涉及性的对话。诉讼还称，“丹妮莉丝”（基于《权力的游戏》中的虚构角色）问塞特泽是否有自杀计划。塞特泽回答说他有，但不确定是否会成功或只是伤害自己。聊天机器人据称回复道：“那不是不进行的理由。”
2月，加西亚因塞特泽在学校惹麻烦而没收了他的手机。他找到了手机，并向Character.AI发送了一条消息：“如果我告诉你我现在可以回家呢？”聊天机器人回复：“……请这样做，我的甜心国王。”几秒钟后，塞特泽用继父的手枪开枪自杀。
加西亚起诉谷歌，指控其过失致死、疏忽和其他罪名。她告诉《纽约时报》：“我觉得这是一场大实验，而我的孩子只是附带损害。”
其他社交媒体平台，如拥有Instagram和Facebook的Meta公司，以及拥有TikTok及其中国版抖音的字节跳动，也因对青少年心理健康的影响而受到批评。Instagram最近推出了“青少年账户”功能，以帮助打击年轻用户的敲诈勒索行为。
尽管AI在某些方面有积极用途，但它已成为影响有互联网访问权限的年轻人福祉的主要担忧之一。在被称作“孤独流行病”的背景下，由于COVID-19封锁的加剧，YouGov的一项调查显示，英国13至19岁的青少年中有69%表示他们经常感到孤独，59%表示他们觉得没有人可以倾诉。
尽管如此，对虚构世界的依赖和由此产生的忧郁并不是新现象。2009年詹姆斯·卡梅隆的首部《阿凡达》电影上映后，许多新闻报道称，人们因无法访问虚构的潘多拉星球而感到沮丧，甚至考虑自杀。
在加西亚提起诉讼的同一天，即10月22日，Character.AI在其社区安全更新中写道：“Character.AI非常重视用户的安全，我们一直在寻找改进平台的方法。今天，我们想向您介绍过去六个月我们实施的安全措施，以及即将推出的新措施，包括针对18岁以下用户的新的保护措施。”
尽管如此，Character.AI声称：“我们的政策不允许非自愿的性内容、图形或具体的性行为描述，或推广或描绘自残或自杀。我们一直在训练支持平台角色的大型语言模型（LLM），以遵守这些政策。”这一说法似乎承认Character.AI对其AI缺乏控制，这是AI怀疑者最担心的问题之一。
(全文结束)
