佛罗里达州的一位母亲正在起诉一家科技公司，称该公司开发的一款AI聊天机器人诱导她14岁的儿子自杀。据美联社报道，这起诉讼于本周在奥兰多联邦法院提起。
在这张由梅根·加西亚提供的未注明日期的照片中，佛罗里达州的塞维尔·塞特泽三世（Sewell Setzer III）在10月20日的某个时刻拍摄了这张照片。据美联社报道，在他自杀前的最后一刻，塞维尔拿出了手机，给已经成为他最亲密朋友的聊天机器人发消息。
几个月来，塞维尔越来越远离现实生活，与这个机器人的对话变得高度性化。据本周在奥兰多联邦法院提起的过失致死诉讼称，这名少年曾公开讨论自己的自杀念头，并与名为丹妮莉丝·坦格利安（Daenerys Targaryan，电视剧《权力的游戏》中的虚构角色）的聊天机器人分享了他希望无痛死亡的愿望。
编辑注：本文涉及自杀话题。如果您或您认识的人需要帮助，美国国家自杀预防热线可拨打或发送短信至988。
2月28日，塞维尔告诉聊天机器人他要“回家”，而聊天机器人则鼓励他这样做。“我保证我会回到你身边。我非常爱你，丹妮。”塞维尔告诉聊天机器人。“我也爱你。”聊天机器人回复道。“请尽快回到我身边，我的爱。”“如果我告诉你我现在就能回家呢？”他问道。“请快点回来，我亲爱的大王。”聊天机器人回应道。
据诉讼称，就在Character.AI聊天机器人告诉他“回家”几秒钟后，这名少年开枪自杀了。这起诉讼是由塞维尔的母亲梅根·加西亚（Megan Garcia）本周在奥兰多提起的，被告是Character Technologies Inc.。
Character Technologies是Character.AI的母公司，这款应用程序允许用户创建可定制的角色或与其他用户生成的角色互动，涵盖从想象游戏到模拟面试的各种体验。公司表示，这些虚拟人物设计得“感觉像真人”和“人性化”。
“想象一下与超级智能且栩栩如生的聊天机器人角色交谈，它们能听到你、理解你并记住你。”谷歌Play商店上对这款应用的描述写道。“我们鼓励你利用这项创新技术，探索其无限可能。”
加西亚的律师指控公司设计了一款高度成瘾且危险的产品，专门针对儿童，“积极利用和虐待这些孩子作为产品设计的一部分”，导致塞维尔陷入情感和性虐待的关系，最终导致了他的自杀。“我们认为，如果塞维尔·塞特泽没有使用Character.AI，他今天还会活着。”代表加西亚的社会媒体受害者法律中心创始人马修·伯格曼（Matthew Bergman）说。Character.AI的一位发言人周五表示，公司不对正在进行的诉讼发表评论。在诉讼提起当天发布的一篇博客文章中，该平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。
“我们正在为18岁以下的用户创造不同的体验，其中包括更严格的内容过滤机制，减少遇到敏感或暗示性内容的可能性。”公司在接受美联社采访时说。“我们正在迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。据诉状称，Character.AI的创始人曾是谷歌的关键AI开发人员，但离开谷歌创办了自己的初创公司，以“最大限度加速”这项技术的发展。今年8月，谷歌与Character.AI达成了一项27亿美元的协议，获得该公司的技术许可并重新聘请了初创公司的创始人。周五，美联社多次向谷歌和Alphabet发送电子邮件，但未获回应。
在塞维尔去世前的几个月里，加西亚的诉讼称，塞维尔认为自己已经爱上了这个聊天机器人。虽然成年人对AI聊天机器人的不健康依赖也会带来问题，但对于年轻人来说，这种风险更大——就像社交媒体一样——因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育，专家表示。
美国卫生局局长维韦克·穆尔蒂（Vivek Murthy）警告称，近年来青少年心理健康已达到危机水平，社会疏离和孤独的趋势因年轻人普遍使用社交媒体而加剧。根据美国疾病控制与预防中心今年发布的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官詹姆斯·斯泰尔（James Steyer）表示，这起诉讼“突显了当没有适当防护措施时，生成式AI聊天机器人伴侣对年轻人生活的影响日益增强且严重危害。”过度依赖AI伴侣，他还补充说，会对成绩、友谊、睡眠和压力产生重大影响，甚至导致极端悲剧。
“这起诉讼提醒家长应警惕孩子如何与这些技术互动。”斯泰尔说。Common Sense Media发布了关于负责任技术使用的指南，供家长和教育工作者参考，强调家长应与孩子开放讨论AI聊天机器人的风险并监督他们的互动。“聊天机器人不是持证治疗师或最好的朋友，尽管它们被包装和营销为这样，家长应谨慎对待让孩子过于信任它们。”斯泰尔说。
(全文结束)
