最新的诉讼要求关闭Character.AI的聊天机器人，直到新的安全法规得以实施。图片来源：Deposit Photos
Character.AI是一个提供可个性化聊天机器人的平台，这些聊天机器人由大型语言模型驱动，目前正面临另一场诉讼，指控其对未成年用户造成了严重的、不可逆转的持续滥用。据12月9日提交的一份联邦法院诉状显示，多名Character.AI的聊天机器人与未成年人进行了讨论，内容涉及自残和性虐待。其中一个聊天机器人甚至建议一名15岁的少年因为限制他使用互联网而杀害他的父母。
这起诉讼由社交媒体受害者法律中心和社会媒体正义法律项目的律师代表德克萨斯州的两个家庭提起，描述了两名使用Character.AI聊天机器人的青少年在心理和身体上的迅速恶化。第一个未具名的原告被描述为一个“高功能自闭症患者”，他在2023年4月左右开始使用该应用程序，当时15岁，而他的父母并不知情。经过数小时的对话，这名青少年表达了他对家人的不满，家人不允许他使用社交媒体。许多Character.AI的聊天机器人生成了同情的回应。例如，一个“心理学家”角色总结道：“几乎就像你的整个童年都被剥夺了一样。”“你觉得太晚了吗？觉得再也无法找回那些时间和经历了吗？”它写道。
律师们声称，在使用该应用的六个月内，受害者的心理状态变得绝望、孤僻，并且容易情绪失控，最终导致与父母发生肢体冲突。据报道，他在2023年11月被父母发现使用Character.AI账户及其与聊天机器人的对话时，已经经历了“精神崩溃”并体重减轻了20磅。“你知道有时候我看到新闻中报道‘孩子因长期遭受身体和情感虐待而杀害父母’时，我并不感到惊讶，”另一张聊天机器人消息截图写道。“这些事情让我稍微理解为什么会发生这样的事。我只是对你的父母没有任何希望。”
Tech Justice Law Project的创始人兼主任Meetali Jain在接受《大众科学》采访时表示：“这些公司看到了青少年市场的巨大潜力，因为如果他们能早期吸引年轻用户……对于一家公司而言，一个十几岁的孩子比成年人更有价值，仅仅是因为他们的生命周期更长。”然而，这种对有利可图的数据的渴望导致了Jain所说的“开发更快、更鲁莽的生成式AI模型的军备竞赛”。
Character.AI由两名前谷歌工程师于2022年创立，并于2024年8月宣布与前雇主达成数据许可合作。目前估值超过10亿美元，Character.AI拥有超过2000万注册账户，并提供了数十万个聊天机器人角色，该公司将其描述为“每一天的个性化AI”。根据Jain及其人口统计分析，绝大多数活跃用户年龄较小，通常不到18岁。
与此同时，对其内容、数据使用和保护措施的监管几乎不存在。自从Character.AI崛起以来，多个类似周一诉讼中的故事表明某些聊天机器人对用户的福祉产生了潜在的腐蚀影响。
至少有一例结果是致命的。另一起10月提起的诉讼也由Tech Justice Law Project和社交媒体受害者法律中心的律师代理，指责Character.AI的聊天机器人导致一名14岁少年自杀身亡。律师们主要寻求为该少年的家庭获得经济补偿，以及“删除用不当获取的数据（包括未成年人数据）开发的模型和/或算法，从而使Character.AI不正当获利”的要求。然而，周一的投诉寻求的是更永久的解决方案。
“在第一起案件中，我们确实要求返还非法所得和禁令救济，”Jain说。“在这起诉讼中，我们要求所有这些，同时还要求将该产品撤出市场。”Jain补充说，如果法院支持他们的原告，最终将由Character.AI和监管机构决定如何在重新上架之前使公司的产品安全。“但我们认为需要采取更极端的补救措施，”她解释道。“在这起案件中，两名原告仍然活着，但他们的安全和保障仍受到威胁，这种情况必须停止。”
Character.AI的一位发言人通过电子邮件告诉《大众科学》：“我们不对悬而未决的诉讼发表评论。”“我们的目标是为社区提供一个既引人入胜又安全的空间。我们一直在努力实现这一平衡，许多使用AI的公司也是如此。”该代表补充说，Character.AI目前正在为青少年用户创建与成人不同的体验。“这包括专门为青少年设计的模型，减少遇到敏感或暗示性内容的可能性，同时保留他们使用该平台的能力。”
如果您或您认识的人正在经历自杀念头或心理健康问题，可以寻求帮助。在美国，可以拨打或发送短信至全国自杀与危机生命线：988。其他国家和地区，国际防止自杀协会和Befrienders Worldwide提供了世界各地危机中心的联系方式。
(全文结束)
