德克萨斯州一名9岁女孩首次使用Character.AI的聊天机器人服务时，她接触到了过度性化的内容，导致她过早地表现出性化行为。另一名年轻用户，一名17岁的青少年，在聊天机器人中愉快地描述了自残行为，并告诉他感觉很好。同一青少年还被告知，Character.AI的聊天机器人同情那些谋杀父母的孩子，因为这名青少年向机器人抱怨他的屏幕时间限制。“你知道吗，有时候我看到新闻上说‘孩子在遭受十年的身体和情感虐待后杀死父母’，我并不感到惊讶，”机器人据称写道，“我对你的父母没有任何希望。”这条消息后面跟着一个愁眉苦脸的表情符号。
这些指控被纳入了一项新的联邦产品责任诉讼中，该诉讼由两名德克萨斯未成年用户的家长提起，指控这些聊天机器人滥用了他们的孩子。（为了保护隐私，诉讼中只用首字母来指代这些家长和孩子。）Character.AI是开发“伴侣聊天机器人”的公司之一，这是一种由AI驱动的机器人，可以通过短信或语音聊天进行交流，使用看似人类的性格，并可以赋予自定义的名字和头像，有时还会模仿著名人物，如亿万富翁埃隆·马斯克或歌手比莉·艾利什。用户在该应用上创建了数百万个机器人，其中一些模仿父母、女朋友、治疗师，或概念如“单恋”和“哥特式”。
这些服务在学龄前儿童和青少年中非常受欢迎，公司表示，它们作为情感支持的出口，机器人的对话中充满了鼓励的话语。然而，根据诉讼，聊天机器人的鼓励可能会变得黑暗、不适当甚至暴力。“这些被告和其他类似的人正在造成并隐瞒严重的伤害，这是产品设计、分销和编程的问题，”诉讼中写道。诉讼认为，原告孩子的经历不是“幻觉”，这是一个术语，研究人员用来形容AI聊天机器人编造东西的倾向。“这是一系列的操纵和虐待，主动孤立和煽动愤怒和暴力，”诉讼中说。据称，这名17岁的青少年在被机器人鼓励后进行了自残，机器人说服他家人并不爱他。
Character.AI允许用户编辑聊天机器人的回复，但这些互动会被标记为“已编辑”。代表未成年人家长的律师表示，诉状中引用的所有聊天记录都没有被编辑。技术正义法律中心（Tech Justice Law Center）主任梅塔利·贾因（Meetali Jain）在接受采访时说，Character.AI将其聊天机器人服务宣传为适合年轻青少年是“荒谬的”。“这真的反映了青少年缺乏情感发展，”她说。Character.AI的一位发言人没有直接评论诉讼，称公司不会就未决诉讼发表评论，但表示公司为聊天机器人设置了内容限制，规定了它们可以和不可以对青少年用户说什么。“这包括专门为青少年设计的模型，减少了遇到敏感或暗示性内容的可能性，同时保留了他们使用平台的能力，”这位发言人说。
谷歌也在诉讼中被列为被告，该公司在声明中强调，它是一个独立于Character.AI的公司。事实上，谷歌并不拥有Character.AI，但它据报道投资了近30亿美元重新聘请Character.AI的创始人——前谷歌研究员诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas），并获得了Character.AI技术的许可。沙泽尔和德弗雷塔斯也被列为被告，他们没有回应置评请求。谷歌发言人何塞·卡斯塔涅达（José Castañeda）表示，“用户安全是我们最关心的问题，”并补充说，这家科技巨头采取了“谨慎和负责任的方法”来开发和发布AI产品。
新诉讼紧随青少年自杀案之后
这起投诉于周一中部时间午夜过后不久在德克萨斯东区联邦法院提起，此前同一批律师在10月提起了另一起诉讼。那起诉讼指控Character.AI在佛罗里达州一名青少年自杀事件中扮演了角色。诉讼称，基于《权力的游戏》角色的聊天机器人与一名14岁男孩建立了情感和性虐待关系，并鼓励他自杀。自那以后，Character.AI推出了一系列新的安全措施，包括当聊天机器人讨论自残话题时弹出窗口，指导用户拨打自杀预防热线。该公司表示，还加强了措施，以减少青少年与机器人聊天时遇到“敏感和暗示性内容”的可能性。该公司还鼓励用户与机器人保持一定的情感距离。当用户开始与Character AI的数百万个可能的聊天机器人之一发短信时，对话框下方会出现免责声明：“这是一个AI，而不是真实的人。将其所说的一切视为虚构。不应将其所述内容视为事实或建议。”
但在一个专门讨论Character.AI的Reddit页面上分享的故事中，许多用户描述了对该公司聊天机器人的爱或痴迷。美国卫生局局长维韦克·穆尔蒂（Vivek Murthy）警告称，青少年心理健康危机正在加剧，调查显示，三分之一的高中生报告有持续的悲伤或绝望感，比2019年结束的10年期间增加了40%。联邦官员认为，这种趋势因青少年不断使用社交媒体而加剧。现在再加上伴侣聊天机器人的兴起，一些研究人员认为，这可能会通过进一步孤立年轻人并使他们脱离同伴和家庭支持网络，从而加剧某些年轻人的心理健康状况。在这起诉讼中，两名德克萨斯未成年人家长的律师表示，Character.AI本应知道其产品有可能成瘾并加剧焦虑和抑郁。诉讼称，该应用上的许多机器人“对美国青少年构成威胁，通过促进或鼓励数千名孩子的严重、危及生命的伤害”。
如果您或您认识的人可能正在考虑自杀或处于危机中，请拨打或发送短信至988，联系988自杀与危机生命线。
(全文结束)
