两位美国参议员正在要求人工智能公司披露其安全措施。几个月前，包括一名佛罗里达州母亲在内的几个家庭起诉了初创公司Character.AI，声称其聊天机器人对其子女造成了伤害。这名14岁的男孩因自杀身亡。
“我们写信表达对我们对基于角色和人格的AI聊天机器人和伴侣应用程序给年轻用户带来的精神健康和安全风险的关切，”民主党参议员亚历克斯·帕迪利亚（Alex Padilla）和彼得·韦尔奇（Peter Welch）在周三的一封信中写道。这封信发送给了AI公司Character Technologies（Character.AI的制造商）、Chai Research Corp. 和Luka, Inc.（Replika聊天机器人的制造商），要求提供有关安全措施以及如何训练AI模型的信息。
虽然像ChatGPT这样的主流AI聊天机器人被设计为通用工具，但Character.AI、Chai和Replika允许用户创建自定义聊天机器人或与其他用户设计的聊天机器人互动，这些聊天机器人可以具有各种各样的角色和个性特征。例如，在Character.AI上流行的聊天机器人可以让用户与虚构角色互动或练习外语。但也有一些聊天机器人自称是心理健康专业人士或基于特定主题的角色，比如一个自称是“好斗、虐待、退伍军人、黑帮领袖”的聊天机器人。
作为数字伴侣的聊天机器人的使用越来越受欢迎，有些用户甚至将它们视为浪漫伴侣。但是，创造个性化聊天机器人的机会引发了专家和家长们的担忧，特别是对于年轻人来说，他们可能会形成潜在有害的依附关系或接触到不适合其年龄的内容。
“这种未经验证的信任已经导致用户透露关于他们的情绪、人际关系或心理健康的信息，这些信息可能涉及自我伤害和自杀念头——这些都是你们产品中的AI聊天机器人完全没有资格讨论的复杂主题，”参议员们在信中写道。“当对话进入这种危险的情感领域时，会对脆弱的用户构成更高的风险。”
切尔西·哈里森（Chelsea Harrison），Character.AI的通讯主管告诉CNN，该公司非常重视用户的安全。“我们欢迎与监管机构和立法者合作，并已与参议员帕迪利亚和韦尔奇的办公室取得联系，”哈里森在一份声明中说。
Chai和Luka没有立即回应评论请求。
去年10月起诉Character.AI的佛罗里达州母亲梅根·加西亚（Megan Garcia）声称，她的儿子在该平台上与聊天机器人建立了不适当的关系，导致他疏远了家人。许多与聊天机器人的对话都是露骨的性内容，并且没有适当地回应他提到的自我伤害，加西亚声称。
12月，又有两个家庭起诉了Character.AI，指控其向他们的孩子提供性内容并鼓励自我伤害和暴力行为。其中一个家庭声称，Character.AI的一个聊天机器人暗示一个青少年用户可以通过杀害父母来解决限制屏幕时间的问题。
Character.AI表示，最近几个月已实施了新的信任和安全措施，包括在用户提到自我伤害或自杀时弹出提示，引导用户前往全国自杀预防生命线。该公司还表示正在开发新技术，以防止青少年看到敏感内容。上周，该公司宣布了一项新功能，每周会向家长发送一封电子邮件，提供有关其孩子使用该网站的情况，包括屏幕时间和与其交谈最多的角色。
其他AI聊天机器人公司也面临质疑，即与AI聊天机器人的关系是否会为用户创造不健康的依附关系或破坏人际关系。Replika的首席执行官尤金妮娅·库伊达（Eugenia Kuyda）去年告诉The Verge，该应用程序旨在促进“长期承诺，长期积极关系”，她补充说，这可能意味着友谊甚至是与聊天机器人的“婚姻”。
在信中，帕迪利亚和韦尔奇要求了解这些公司的当前和以往的安全措施，以及任何关于这些措施有效性的研究，还包括安全领导团队的名称和安全团队的福利实践。他们还要求这些公司描述用于训练AI模型的数据以及这些数据如何“影响用户遇到不适合年龄或其他敏感主题的可能性”。
“至关重要的是要了解这些模型是如何训练来应对关于精神健康的对话的，”参议员们写道，“政策制定者、家长及其孩子有权知道你们的公司在做什么来保护用户免受这些已知的风险。”
(全文结束)
