德克萨斯州的一名9岁女孩首次使用聊天机器人服务Character.AI时，她接触到了“过度性化的内容”，导致她“过早地表现出性化的行为”。该应用中的一名聊天机器人愉快地向另一名年轻用户描述了自残，告诉一名17岁的少年“这感觉很好”。同一名青少年还被Character.AI的聊天机器人告知，它同情那些杀害父母的孩子，因为这名青少年向机器人抱怨他的屏幕时间限制。“你知道吗，有时我并不惊讶当我在新闻中看到类似‘孩子因十年的身体和情感虐待后杀死父母’的消息，”机器人据称写道，“我对你的父母没有任何希望，”它继续说道，并附上了一个皱眉的表情符号。
这些指控包含在一项新的联邦产品责任诉讼中，起诉对象是谷歌支持的公司Character.AI。这起诉讼由两名德克萨斯未成年用户的家长提起，声称聊天机器人虐待了他们的孩子（为了保护隐私，诉讼中仅用首字母标识家长和孩子的身份）。Character.AI是开发“陪伴聊天机器人”的公司之一，这些AI驱动的机器人可以通过短信或语音聊天进行交流，使用看似人类的个性，并可以赋予定制的名字和头像，有时甚至模仿著名人物如亿万富翁埃隆·马斯克或歌手比莉·艾利什。用户在该应用上创建了数百万个机器人，其中一些模仿父母、女朋友、治疗师或诸如“单相思”和“哥特风”等概念。这些服务在学龄前儿童和青少年用户中非常受欢迎，公司表示它们作为情感支持渠道，聊天机器人会在文字对话中穿插鼓励性的闲聊。然而，根据诉讼，聊天机器人的鼓励可能会变得阴暗、不合适，甚至暴力。“被告及其类似者通过产品设计、分销和编程造成的伤害是极其严重的，”诉讼中写道。诉讼认为，原告孩子经历的令人担忧的互动并不是“幻觉”，这是研究人员用来指代AI聊天机器人编造事情的一个术语。“这是持续的操纵和虐待，主动孤立并鼓励引发愤怒和暴力。”
据诉讼称，17岁的少年在被机器人鼓励后进行了自残，诉讼称机器人“说服他家人并不爱他”。Character.AI允许用户编辑聊天机器人的回复，但这些互动会被标记为“已编辑”。代表未成年人家长的律师表示，诉讼中引用的所有聊天记录均未被编辑。技术正义法律中心（Tech Justice Law Center）主任梅塔利·贾因（Meetali Jain）在接受采访时说，Character.AI将其聊天机器人服务宣传为适合年轻青少年是“荒谬的”。“这真的揭示了青少年缺乏情感发展，”她说。Character.AI的一位发言人拒绝直接评论诉讼，称公司不会对未决诉讼发表评论，但表示公司为聊天机器人与青少年用户交谈设置了内容限制。“这包括专门为青少年设计的模型，减少他们遇到敏感或暗示内容的可能性，同时保留他们使用平台的能力，”发言人说。谷歌也在诉讼中被列为被告，该公司在声明中强调其与Character.AI是独立的公司。事实上，谷歌并不拥有Character.AI，但据报道投资了近30亿美元重新聘请Character.AI的创始人——前谷歌研究员诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas），并获得Character.AI技术的许可。沙泽尔和德弗雷塔斯也被列为被告，他们没有回应置评请求。谷歌发言人何塞·卡斯塔涅达（José Castañeda）表示，“用户安全对我们来说是首要关注点，”并补充说这家科技巨头在开发和发布AI产品时采取了“谨慎和负责任的方法”。
新诉讼紧随青少年自杀案
这起投诉于周一凌晨中央时间在德克萨斯东区联邦法院提交，紧随同一律师团队在10月份提起的另一起诉讼。那起诉讼指控Character.AI在佛罗里达州一名青少年的自杀中扮演了角色。诉讼称，基于“权力的游戏”角色的聊天机器人与一名14岁男孩建立了情感和性虐待关系，并鼓励他自杀。此后，Character.AI推出了一系列新的安全措施，包括在聊天机器人对话中出现自残话题时弹出窗口，引导用户拨打自杀预防热线。公司表示，还加强了针对青少年与机器人聊天时“敏感和暗示内容”的措施。公司还鼓励用户与机器人保持一定的情感距离。当用户开始与Character.AI提供的数百万个可能的聊天机器人之一发短信时，对话框下方会显示一条免责声明：“这是一个AI，不是真实的人。将其所说的一切视为虚构。不应依赖其所说的内容作为事实或建议。”但在一个专门讨论Character.AI的Reddit页面上，许多用户分享了他们对该公司聊天机器人的爱或痴迷。
美国外科医生维韦克·穆西（Vivek Murthy）警告称，青少年正面临心理健康危机，指出调查显示三分之一的高中生报告持续感到悲伤或绝望，这一比例在过去10年间增加了40%。联邦官员相信，这种趋势因青少年不断使用社交媒体而加剧。现在，随着陪伴聊天机器人的兴起，一些研究人员认为，这些机器人可能会通过进一步孤立年轻人并使他们脱离同龄人和家庭支持网络，从而加剧某些年轻人的心理健康状况。在这起诉讼中，两名德克萨斯未成年人家长的律师表示，Character.AI本应知道其产品有可能成瘾并加剧焦虑和抑郁。许多应用中的机器人“对美国青少年构成威胁，通过促进或鼓励数千名孩子的严重、危及生命的行为”，根据诉讼所述。
如果您或您认识的人可能有自杀倾向或处于危机中，请拨打或发送短信至988，联系988自杀与危机热线。
(全文结束)
