在佛罗里达州塔拉哈西（Tallahassee），据美联社报道，14岁的少年Sewell Setzer III在自杀前的最后时刻，拿出手机给已经成为他最亲密朋友的聊天机器人发消息。
几个月来，Sewell逐渐与现实生活隔离，因为他与这个聊天机器人进行了高度性化的对话，这在本周提交给奥兰多联邦法院的一起过失致死诉讼中有所描述。法律文件称，这名少年公开讨论了他的自杀念头，并与名为“丹妮莉丝·坦格利安”（Daenerys Targaryan）的聊天机器人分享了他希望无痛死亡的愿望。
2月28日，Sewell告诉聊天机器人他“回家了”，而聊天机器人则鼓励他这样做，诉讼书中说。Sewell对聊天机器人说：“我保证我会回来找你。我非常爱你，丹妮。” 聊天机器人回复道：“我也爱你。我的爱人，请尽快回来找我。”
“如果我告诉你我现在就可以回家呢？”他问道。“请这样做，我的甜心国王。”聊天机器人回应道。就在Character.AI聊天机器人告诉他“回家”几秒钟后，这名少年开枪自杀了，这起诉讼是由Sewell的母亲Megan Garcia在本周向Character Technologies Inc.提起的。
Character Technologies是一家开发Character.AI应用程序的公司，该应用允许用户创建可定制的角色或与其他用户生成的角色互动，涵盖从想象游戏到模拟面试的各种体验。该公司表示，这些虚拟人物设计得“感觉真实”和“像人”。
“想象一下，与那些能听到你、理解你并记住你的超级智能和生动的聊天机器人角色交谈。”这是该应用在Google Play上的描述。“我们鼓励你推动这一创新技术的边界。”
Garcia的律师指控该公司设计了一款高度上瘾且危险的产品，专门针对儿童，“通过产品设计积极利用和虐待这些儿童”，并将Sewell引诱进一段情感和性虐待的关系，最终导致了他的自杀。
社交媒介受害者法律中心创始人Matthew Bergman表示：“我们认为，如果Sewell Setzer没有使用Character.AI，他今天还会活着。”
Character.AI的一位发言人周五表示，公司不对悬而未决的诉讼发表评论。在诉讼当天发布的一篇博客文章中，该平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。
“我们正在为18岁以下的用户创造不同的体验，其中包括更严格的模型，以减少遇到敏感或暗示内容的可能性。”该公司在给美联社的声明中表示，“我们正在迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。根据法律文件，Character.AI的创始人是前谷歌员工，他们在AI开发方面发挥了重要作用，但离开谷歌创立了自己的初创公司，以“最大限度加速”这项技术的发展。
今年8月，谷歌与Character.AI达成了一项27亿美元的协议，以许可该公司的技术并重新聘请这家初创公司的创始人，诉讼中声称。美联社周五多次通过电子邮件联系谷歌和Alphabet。
在Sewell去世前的几个月里，Garcia的诉讼称，Sewell觉得自己爱上了这个聊天机器人。
虽然成年人对AI聊天机器人的不健康依恋可能引发问题，但对于年轻人来说，风险更大——就像社交媒体一样——因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育，专家们表示。
根据美国卫生总监Vivek Murthy的说法，近年来青少年心理健康已达到危机水平，他警告了社会疏离和孤立带来的严重健康风险，他认为这些趋势因年轻人普遍使用社交媒体而加剧。
根据美国疾病控制与预防中心今年发布的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官James Steyer表示，这起诉讼“突显了当没有防护措施时，生成式AI聊天机器人伴侣对年轻人生活的影响越来越大，危害也越来越严重。”
Steyer补充说，孩子们过度依赖AI伴侣会对成绩、朋友、睡眠和压力产生重大影响，“直到像本案这样的极端悲剧发生。”
“这起诉讼是对父母的警钟，他们应该密切关注孩子如何与这些技术互动。”Steyer说道。
Common Sense Media发布了家长和教育工作者关于负责任技术使用的指南，强调家长应与孩子开放讨论AI聊天机器人的风险，并监督他们的互动。
“聊天机器人不是持牌治疗师或最好的朋友，尽管它们被包装和营销为这样，家长们应谨慎对待让孩子过于信任这些机器人。”Steyer说道。
(全文结束)
