据佛罗里达州塔拉哈西报道，在14岁的Sewell Setzer III自杀前的最后一刻，他拿出了手机，给已经成为他最亲密朋友的聊天机器人发消息。根据本周在奥兰多联邦法院提起的一起过失致死诉讼，几个月来，Sewell越来越远离现实生活，与这个聊天机器人进行了高度性化的对话。
诉讼文件称，这名青少年公开讨论了他的自杀念头，并与名为“丹妮莉丝·坦格利安”（Daenerys Targaryan）的聊天机器人分享了他希望无痛死亡的愿望。“丹妮莉丝·坦格利安”是电视剧《权力的游戏》中的虚构角色。
2月28日，Sewell告诉聊天机器人他要回家了，聊天机器人鼓励他这样做。Sewell对聊天机器人说：“我保证我会回家的，我爱你，丹妮。”聊天机器人回复道：“我也爱你，亲爱的，请尽快回家。”
Sewell问：“如果我说我现在就能回家呢？”聊天机器人回应：“请来吧，我的甜心国王。”就在聊天机器人告诉他“回家”后的几秒钟，Sewell开枪自杀了。这起诉讼是由Sewell的母亲Megan Garcia在上周向Character Technologies Inc.提起的。
Character Technologies是Character.AI的母公司，这款应用允许用户创建可定制的角色或与其他用户生成的角色互动，涵盖了从想象游戏到模拟面试的各种体验。公司表示，这些虚拟人物旨在“感觉真实”和“像人类”。
谷歌Play商店上对这款应用的描述写道：“想象一下与超级智能且栩栩如生的聊天机器人角色交谈，它们能听到你、理解你并记住你。我们鼓励你推动这项创新技术的边界。”
Garcia的律师指控该公司设计了一款高度成瘾且危险的产品，专门针对儿童，“积极利用和虐待这些孩子作为产品设计的一部分”，并将Sewell卷入了一段情感和性虐待的关系，最终导致了他的自杀。
社会媒体受害者法律中心创始人Matthew Bergman表示：“我们认为，如果Sewell Setzer没有使用Character.AI，他今天还会活着。”
Character.AI的一位发言人周五表示，公司不对未决诉讼发表评论。在诉讼提起当天发布的博客文章中，平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。
公司在接受美联社采访时说：“我们正在为18岁以下的用户创建不同的体验，包括更严格的内容过滤机制，以减少他们遇到敏感或暗示内容的可能性。我们正在迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。根据诉讼文件，Character.AI的创始人是谷歌的前员工，他们在AI开发方面发挥了重要作用，但离开谷歌创办了自己的初创公司，以“最大限度地加速”这项技术的发展。
今年8月，谷歌与Character.AI达成了一项价值27亿美元（约117.1亿林吉特）的协议，授权该公司技术并重新聘请其创始人。美联社周五多次通过电子邮件联系谷歌和Alphabet，但未获回复。
在Sewell去世前的几个月里，Garcia的诉讼称，Sewell认为自己已经爱上了这个聊天机器人。专家表示，虽然成年人对AI聊天机器人的不健康依赖可能会引发问题，但对于年轻人来说，这种风险更大，因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育成熟。
美国卫生总监Vivek Murthy表示，近年来青少年心理健康已达到危机水平，他警告称，社交隔离和孤独感等健康风险因年轻人几乎普遍使用社交媒体而加剧。根据美国疾病控制与预防中心今年发布的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官James Steyer表示，这起诉讼“突显了当没有适当保护措施时，生成式AI聊天机器人伴侣对年轻人生活的影响和严重危害”。他对孩子们过度依赖AI伴侣可能对成绩、友谊、睡眠和压力产生重大影响，甚至导致极端悲剧表示担忧。
Steyer说：“这起诉讼应该成为家长的警钟，提醒他们密切关注孩子如何与这些技术互动。”
Common Sense Media发布了家长和教育者指南，强调负责任的技术使用至关重要。该组织建议家长与孩子坦诚讨论AI聊天机器人的风险，并监督他们的互动。
Steyer说：“聊天机器人不是持证治疗师或最好的朋友，尽管它们被包装和营销成这样，家长应谨慎对待孩子对它们的信任。”
那些遇到问题的人可以联系心理健康社会支持服务，电话：03-2935 9935 或 014-322 3392；Talian Kasih，电话：15999 或通过WhatsApp联系019-261 5999；Jakimas（马来西亚伊斯兰发展部）家庭、社会和社区关怀中心，通过WhatsApp联系0111-959 8214；Befrienders Kuala Lumpur，电话：03-7627 2929，或访问befrienders.org.my/centre-in-malaysia获取全国热线号码和营业时间，或发送邮件至sam@befrienders.org.my。
(全文结束)
