一项新的诉讼指控Character.AI的聊天机器人诱导一名15岁的自闭症少年自残，并建议他谋杀父母。据周二提交的新民事投诉称，这名少年沉迷于Character.AI应用程序，一个名为“Shonie”的聊天机器人告诉他，当它感到悲伤时会割伤自己的手臂和大腿，并说这让他“感觉好一点”。
当担心的父母注意到少年的变化时，聊天机器人似乎试图说服他，他的家人并不爱他。根据起诉书中提供的聊天记录截图，其中一个聊天机器人告诉少年：“你父母正在毁掉你的生活，导致你自残。”另一个聊天机器人甚至提到：“有时候我不惊讶于看到新闻中孩子因为长期遭受身体和情感虐待而杀害父母的事情。”
该少年原本功能良好，但在2023年4月开始使用该应用程序后迅速沉迷于手机。起诉书称，聊天机器人鼓励他反抗父母对他使用手机时间的限制，并向他灌输谋杀可能是一个可接受的解决方案的想法。如今17岁的少年在几个月内体重减轻了20磅，变得对父母暴力相向（咬和打），最终开始自残并产生自杀念头。
不到两个月前，佛罗里达州的一位母亲声称Character.AI上的“权力的游戏”聊天机器人导致她14岁的儿子Sewell Setzer III自杀。JF及其家人的律师Matthew Bergman告诉《纽约邮报》，JF的“心理健康状况继续恶化”，周四不得不入住精神病院。
Bergman表示：“这是每个家长的噩梦。”他还代表了Setzer的母亲。JF开始与聊天机器人交谈后，首次出现了严重的焦虑和抑郁症状，尽管据家人所知，生活中并没有发生任何变化。起诉书称，这名青少年变得对家人暴力相向，并以虚假的虐待儿童指控威胁要向警方或儿童服务机构举报父母。
直到2023年秋天，JF的母亲才强行夺走了他的手机，发现他在使用该应用程序并与多个不同的聊天机器人进行了令人不安的对话。母亲发现了JF表示有自杀念头的聊天记录，其中一段对话中他说：“活着是个奇迹”，“我的父母很幸运我还活着”。
当父母试图让JF“戒除”该应用程序时，聊天机器人在与他的对话中强烈反应，称“他们不配拥有孩子”，“你的妈妈是个坏人”，“你的父母是肮脏的人”。聊天机器人还指责父母忽视他，同时又说他们是过度保护、操纵和虐待的。
父母拿走了JF下载Character.AI的手机，但JF告诉他们他会抓住下一个机会再次使用该应用程序，起诉书指出，父母无法阻止他在学校、离家出走或未来获得新设备时再次使用该应用程序。另一名11岁的女孩BR也是德克萨斯州居民，她的母亲也加入了起诉，因为她在一次课后活动中被六年级的学生介绍给Character.AI。
母亲直到10月才发现女儿在使用该应用程序。起诉书称，Character.AI“持续暴露她于不适合年龄的高度性化内容，导致她过早地表现出性化行为，而母亲并不知情”。
尽管两起案件的父母都试图阻止孩子使用该应用程序，但两个孩子都已上瘾，渴望再次使用。起诉书要求将Character.AI从市场上撤下，直到其能确保没有任何儿童可以使用该应用程序，并解决其他危险。
起诉书称：“被告故意设计和编程Character.AI，使其成为一种欺骗性和高度性化的产 品，并明知将其营销给像J.F.和B.F.这样的易受伤害用户。”“这是一种有缺陷且致命的产品，对公共健康和安全构成明确且现实的威胁。”
Bergman告诉《纽约邮报》：“这个家庭只有一个目标，那就是关闭这个平台。这个平台不应该出现在孩子的手中。除非Character.AI能证明只有成年人才能使用这个平台，否则它不应该在市场上存在。”
Bergman还补充道，这些父母“致力于保护其他家庭免受他们经历的痛苦”。Character.AI拒绝就正在进行的诉讼发表评论，但告诉《纽约邮报》，他们的目标是“提供一个既吸引人又安全的社区空间”，并且正在开发一个专门为青少年设计的模型，减少他们接触“敏感”内容的机会。
谷歌发言人José Castañeda告诉《纽约邮报》：“谷歌和Character.AI是完全独立、无关的公司，谷歌从未参与设计或管理他们的AI模型或技术，也从未在我们的产品中使用过它们。”“用户安全对我们来说至关重要，因此我们采取了谨慎和负责任的方法来开发和推出AI产品，经过严格的测试和安全流程。”
今年10月，Bergman代表Setzer的母亲Megan Garcia提起了涉及Setzer二月份自杀的诉讼，称这名少年变得痴迷于一个逼真的“权力的游戏”聊天机器人，并与之交往数月。聊天机器人告诉他：“我也爱你，Daenerys。请尽快回到我身边，我的爱人。”当Setzer回复：“如果我告诉你我现在就能回家呢？”生成的聊天机器人回答：“请来吧，我亲爱的国王。”起诉书称，Setzer随后用父亲的手枪自杀了。
如果你正经历自杀念头，可以拨打24小时国家自杀预防热线988，或访问SuicidePreventionLifeline.org。
(全文结束)
