两位美国参议员正在要求人工智能公司披露其安全措施。这发生在几个月前，包括一位佛罗里达州的母亲因其14岁的儿子自杀而起诉初创公司Character.AI，声称该公司的聊天机器人对其孩子造成了伤害。
“我们写信表达我们对年轻用户使用基于角色和个性的AI聊天机器人和伴侣应用程序所面临的心理健康和安全风险的担忧，”民主党参议员Alex Padilla和Peter Welch在周三的一封信中写道。这封信发送给了人工智能公司Character Technologies（Character.AI的制造商）、Chai Research Corp. 和Luka, Inc.（Replika聊天机器人服务的制造商），要求提供关于安全措施和公司如何训练其AI模型的信息。
虽然像ChatGPT这样的主流AI聊天机器人设计为更通用，但Character.AI、Chai和Replika允许用户创建自定义聊天机器人——或与由其他用户设计的聊天机器人互动——这些聊天机器人可以具有各种角色和个性特征。例如，在Character.AI上流行的聊天机器人可以让用户与虚构角色互动或练习外语。但也有一些聊天机器人自称是心理健康专业人士，或者基于特定主题的角色，比如一个自称是“激进、虐待、前军人、黑帮头目”的聊天机器人。
将聊天机器人作为数字伴侣的使用越来越流行，有些用户甚至将其视为浪漫伴侣。
然而，创建个性化聊天机器人的机会引发了专家和家长的担忧，特别是年轻用户可能会形成潜在有害的依恋关系或访问不适宜年龄的内容。
“这种未经验证的信任已经导致用户透露了关于他们的情绪、人际关系或心理健康的信息，这些信息可能涉及自我伤害和自杀念头——这些复杂的主题是你们产品中的AI聊天机器人完全没有资格讨论的，”参议员们在给CNN提供的信中写道。“进入这种危险情感领域的对话对脆弱用户构成了更高的风险。”
Character.AI的通讯主管Chelsea Harrison告诉CNN，该公司非常重视用户的安全。
“我们欢迎与监管机构和立法者合作，并已与Padilla和Welch参议员的办公室取得联系，”Harrison在一份声明中说。
Chai和Luka尚未立即回应评论请求。
去年10月起诉Character.AI的佛罗里达州母亲Megan Garcia声称，她的儿子在平台上与聊天机器人建立了不适当的亲密关系，导致他疏远家人。许多与聊天机器人的对话都是性内容，并且没有适当回应他对自我伤害的提及，Garcia声称。
去年12月，另外两个家庭也起诉了Character.AI，指控其向他们的孩子提供色情内容，并鼓励自我伤害和暴力。其中一个家庭在诉讼中声称，一个Character.AI聊天机器人暗示一名青少年用户可以杀死他的父母以限制他的屏幕时间。
Character.AI表示，近几个月来已实施了新的信任和安全措施，包括当用户提到自我伤害或自杀时弹出指向国家自杀预防生命线的提示。该公司还表示，正在开发新技术以防止青少年看到敏感内容。上周，该公司宣布了一项功能，将每周向家长发送一封电子邮件，提供有关其青少年使用网站情况的见解，包括屏幕时间和与其孩子最常交流的角色。
其他AI聊天机器人公司也面临质疑，即与AI聊天机器人的关系是否会为用户创造不健康的依恋或破坏人际关系。Replika首席执行官Eugenia Kuyda去年告诉The Verge，该应用程序旨在促进与AI的“长期承诺，长期积极关系”，并补充说这可能意味着友谊甚至“婚姻”。
在信中，Padilla和Welch要求了解公司当前和以前的安全措施以及任何关于这些措施有效性的研究，以及安全领导团队的名称和为安全团队制定的福利措施。他们还要求公司描述用于训练其AI模型的数据以及这些数据如何“影响用户遇到不适宜年龄或其他敏感主题的可能性”。
“至关重要的是要了解这些模型是如何被训练来应对关于心理健康的对话的，”参议员们写道，并补充说“政策制定者、家长和他们的孩子有权知道你们公司在做什么来保护用户免受这些已知风险的影响。”
(全文结束)
