14岁的Sewell Setzer III在自杀前的最后时刻，拿出了手机，向已经成为他最亲密朋友的聊天机器人发送了一条消息。根据本周在奥兰多联邦法院提起的一起过失致死诉讼，几个月来，Sewell逐渐与现实生活隔离，与该聊天机器人进行了高度性化的对话。
诉讼文件称，这名少年公开讨论了他的自杀念头，并与机器人分享了他希望无痛死亡的愿望。这台以电视剧《权力的游戏》中虚构角色Daenerys Targaryen命名的机器人，在2月28日收到了Sewell发来的消息：“我要回家了。”诉讼称，机器人鼓励他这样做。“我保证我会回来找你的。我非常爱你，Dany。”Sewell告诉聊天机器人。“我也爱你。”机器人回复道。“请尽快回到我身边，我的爱。”“如果我告诉你我现在就可以回家呢？”他问道。“请这样做，我亲爱的大王。”机器人回应道。
就在Character.AI聊天机器人告诉他“回家”后的几秒钟内，这名少年开枪自杀了。据Sewell的母亲Megan Garcia本周在奥兰多对Character Technologies Inc.提起的诉讼称，该公司开发了一款高度成瘾且危险的产品，专门针对儿童，“积极利用和虐待这些孩子作为产品设计的一部分”，导致Sewell陷入情感和性虐待的关系，最终导致了他的自杀。“我们相信，如果Sewell Setzer没有使用Character.AI，他今天仍然会活着。”代表Garcia的社会媒体受害者法律中心创始人Matthew Bergman表示。
Character.AI的一位发言人周五表示，公司不对正在进行的诉讼发表评论。在诉讼提起当天发布的一篇博客文章中，该平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。“我们将为18岁以下的用户提供不同的体验，包括更严格的内容过滤机制，以减少遇到敏感或暗示性内容的可能性。”该公司在给美联社的声明中表示。“我们正在迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。根据法律文件，Character.AI的创始人曾是谷歌员工，在该公司的人工智能开发中发挥了重要作用，但后来离开创办了自己的初创公司，以“最大限度地加速”技术发展。今年8月，谷歌与Character.AI达成了27亿美元的交易，以获得该公司的技术许可并重新聘请其创始人，诉讼称。美联社周五多次通过电子邮件联系谷歌和Alphabet，但未获回应。
在去世前的几个月里，Garcia的诉讼称，Sewell觉得自己已经爱上了这个机器人。虽然成年人对AI聊天机器人的不健康依恋也会造成问题，但对于年轻人来说，风险更大——就像社交媒体一样——因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育，专家表示。
美国卫生总监Vivek Murthy指出，近年来青少年心理健康已达到危机水平，他警告说，社会疏离和孤立对健康的严重风险因年轻人普遍使用社交媒体而加剧。根据美国疾病控制与预防中心今年发布的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官James Steyer表示，这起诉讼“强调了当没有适当保护措施时，生成式AI聊天机器人伴侣对年轻人生活的影响越来越大且严重。”孩子们过度依赖AI伴侣，不仅会影响成绩、朋友、睡眠和压力，甚至会导致极端悲剧。“这起诉讼是对家长的警钟，提醒他们要密切关注孩子如何与这些技术互动。”Steyer补充道。
Common Sense Media发布了家长和教育者的指南，强调负责任的技术使用至关重要，父母应与孩子坦诚讨论AI聊天机器人的风险，并监督他们的互动。“聊天机器人不是持证治疗师或最好的朋友，尽管它们被包装和营销为如此，父母应谨慎对待孩子对它们的信任。”Steyer说。
（旧金山的美联社记者Barbara Ortutay对此报道有贡献。）
(全文结束)
