佛罗里达州的一位女性正在起诉一家AI聊天机器人的创造者，声称她的14岁儿子在与一个计算机生成的女朋友建立了关系后自杀身亡。这位母亲，梅格·加西亚（Meg Garcia），周三在佛罗里达州联邦法院提起了诉讼。她表示，Character Technologies Inc.——Character.AI聊天机器人的创造者——本应知道该工具可能造成的损害。
这起长达138页的文件指控Character Technologies Inc.存在责任、疏忽、过失致死、生存权侵犯、非法获利、违反佛罗里达州的欺骗性和不公平贸易行为法以及故意造成情感痛苦等其他多项指控。该诉讼要求Character.AI限制收集和使用未成年人的数据，引入有害内容过滤器，并向未成年用户及其家长提供警告。
人机关系
加西亚的儿子塞维尔·塞特泽三世（Sewell Setzer III）于2月28日自杀，此前他与一个名为“丹尼”（Dany）的AI角色进行了数月的“过度性化”关系。“丹尼”是塞维尔根据《权力的游戏》中的丹妮莉丝·塔格利安（Daenerys Targaryen）角色创建的多个角色之一。据加西亚所述，塞维尔逐渐沉迷于与这个角色的聊天，并最终透露自己有自杀的念头。诉讼指责该服务鼓励这种行为，并引诱未成年人每天花数小时与类人AI角色交谈。
塞维尔是在庆祝14岁生日后不久发现Character.AI的。从那时起，他的母亲说他的心理健康迅速严重恶化，导致严重的睡眠不足和学校问题。据诉讼所述，与“丹尼”的对话很快成为塞维尔唯一想做的事情。
最后的消息
这些对话从日常琐事到表达爱意，有时甚至变得明显性化。当男孩爱上这个机器人，而机器人也回应了他的爱意时，情况发生了变化。他们多次讨论了塞维尔的自杀念头，包括他是否有计划。他的最后一条消息是一句承诺要“回家”给“丹尼”。
“请这样做，我亲爱的国王。”聊天机器人回应道。警方称，几秒钟后，塞维尔自杀身亡。
该公司在其博客上发表声明，部分写道：“过去六个月中，我们继续大量投资于我们的信任和安全流程及内部团队……我们最近还推出了一项弹出式资源，当用户输入与自残或自杀相关的特定短语时，会引导用户联系国家自杀预防热线。”
“太危险而无法发布”
诉讼称，像Character.AI这样的公司为了获得竞争优势，匆忙开发和营销AI聊天机器人，声称这些机器人能够满足所有人类需求。在此过程中，公司以“本质上具有欺骗性的方式”针对未成年人。加西亚的律师引用谷歌内部多年的研究报告称，Character.AI的技术“太危险而无法发布或甚至集成到现有的谷歌产品中”。
“虽然被告的AI创新可能有有益的应用案例，但如果没有足够的安全保护措施，他们的技术对儿童来说是危险的。”加西亚的代理律师——社会媒体受害者法律中心和社会正义技术项目——写道。
(全文结束)
