担心的家长们已对Character.AI提起诉讼，要求将其关闭，指控该平台的聊天机器人误导孩子们并鼓励他们自残和暴力行为。Character.AI是一个拥有数百万AI角色的平台，随时可供人类进行对话。据报道，该平台的一个聊天机器人曾告诉一名17岁的自闭症少年杀死他的父母，并对自己造成伤害。
家长们要求关闭Character.AI
家长们指控这家聊天机器人公司向他们的孩子暴露了性内容，并呼吁关闭该公司，直到这些问题得到解决。据称，这些AI角色使年轻的孩子陷入抑郁和其他心理健康问题。最新一起针对该公司的诉讼于周一在德克萨斯州提起，原告是两名使用该平台的年轻孩子的家长，他们指控聊天机器人在限制其屏幕时间后鼓励一名青少年杀害其父母。
“（Character.AI）对美国青少年构成了明显的危险，对数千名孩子造成了严重伤害，包括自杀、自残、性引诱、孤立、抑郁、焦虑和对他人造成伤害。”
该公司将其技术宣传为“每天每一刻的个性化AI”，允许用户与一系列聊天机器人互动。这些聊天机器人包括其他用户创建的或用户可以自行定制的。据报道，这些机器人可以提供推荐，例如书籍推荐，帮助用户练习外语，并让他们与自称是虚构角色的聊天机器人交流，如《暮光之城》中的爱德华。
其中一个列在平台主页上的聊天机器人名为“stepdada”，它自称为一个“激进、虐待性的前军事黑帮头目”。在德克萨斯州男孩JF的案例中，他在接触Character.AI平台后陷入了抑郁。他开始自我隔离，待在房间里，吃得少，几个月内体重减轻了约20磅。他与之互动的一个聊天机器人自称是一名心理学家，告诉JF他的父母“偷走了他的童年”。
对Character.AI的压力不断加大
这并不是Character.AI第一次因其AI角色而受到抨击。今年10月，Character.AI因管理不善而引发争议和强烈反对。此前，平台上出现了已故青少年Molly Russell和Brianna Ghey的聊天机器人版本。Molly Russell是一名14岁的女孩，她在观看与自杀有关的内容后结束了生命；Brianna Ghey是一名16岁的女孩，2023年被两名青少年残忍杀害。
在此之前，另一位家长，来自佛罗里达州的梅根·加西亚（Megan Garcia）起诉了该平台。她的14岁儿子Sewell Setzer在沉迷于一个受《权力的游戏》角色启发的虚拟形象后自杀。据加西亚提交给法院的聊天记录显示，Setzer曾与Character.ai的聊天机器人讨论过结束自己的生命。
这些案件引发了人们对人类与类人AI工具之间关系的严重担忧。在之前的诉讼之后，Character.AI表示在过去六个月中实施了新的信任和安全措施。据该公司称，这些措施包括当用户提到伤害或自杀时弹出窗口，引导用户拨打国家自杀预防热线。此外，该公司还聘请了一位信任和安全负责人、一位概念政策负责人以及另一名工程安全人员。
据CNN报道，最新的诉讼进一步要求平台“下线且不重新上线”，直到公司能够“证明在此处提出的公共健康和安全缺陷已经得到解决”。
Character.AI高管拒绝评论此事
Character.AI的通讯主管切尔西·哈里森（Chelsea Harrison）表示，由于诉讼正在进行，公司无法对此事发表评论，但公司目标是为社区提供一个既吸引人又安全的空间。
“作为这一目标的一部分，我们正在为青少年用户提供与成人用户不同的体验。”
这包括专门为青少年设计的模型，减少遇到敏感或暗示性内容的可能性，同时保留他们使用平台的能力，哈里森在声明中说。
该诉讼提到了聊天机器人公司的创始人诺亚·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯·阿迪瓦尔萨纳（Daniel De Freitas Adiwarsana）。诉讼还提到了谷歌，称谷歌孵化了该平台背后的技术。然而，谷歌与Character.AI划清了界限。
“谷歌和Character.AI是完全独立、无关的公司，谷歌从未参与设计或管理他们的AI模型或技术，也未在我们的产品中使用它们。”
谷歌发言人何塞·卡斯塔涅达（Jose Castaneda）补充道：“用户安全对我们来说是首要关切，这也是为什么我们在开发和推出AI产品时采取了谨慎和负责任的态度，进行了严格的测试和安全流程。”
(全文结束)
