两名参议员已向多家AI伴侣公司发送了一封信，要求提供有关其安全措施的信息，包括内部安全评估的细节以及防护措施的实施时间表。据CNN昨日报道，这一行动是在针对与谷歌有关联的聊天机器人初创公司Character.AI提起的两起备受关注的儿童福利诉讼之后进行的。
在法院文件中，三户家庭指控Character.AI促进了对未成年用户的性虐待和情感虐待，导致严重的心理和情感痛苦、暴力行为变化，甚至一例死亡。谷歌和Character.AI的联合创始人Noam Shazeer和Daniel de Freitas也被列为被告。
由加州民主党参议员Alex Padilla和马萨诸塞州民主党参议员Peter Welch起草的这封信引用了对Character.AI的指控，称这些指控令人担忧，并特别强调了对使用AI伴侣应用程序的未成年用户的关切。信中直接提到了14岁的Sewell Setzer III，他在2024年2月自杀身亡，此前他与该平台的人形聊天机器人进行了广泛且极其亲密的互动。
“我们写信是为了表达我们对基于角色和人格的AI聊天机器人和伴侣应用程序（包括Character.AI）对年轻用户的心理健康和安全风险的担忧。”信中写道。
Setzer的死亡事件首次由《纽约时报》报道，并于10月引起了广泛关注，当时他的母亲Megan Garcia代表他提起了第一起儿童福利诉讼。第二起投诉于12月在德克萨斯州提起，代表另外两个家庭，他们的孩子因使用该服务而遭受了重大的心理和身体伤害。其中一名15岁开始使用该应用程序的孩子在与Character.AI机器人讨论自残后开始自残。
这两起诉讼共同认为，Character.AI及其资助者谷歌明知故犯地将一款危险且未经测试的产品推向市场，在公众尤其是家长中引起了轩然大波。现在看来，国会山的立法者们也在关注此事。
信中继续写道：“鉴于最近关于这一新兴应用类别中的自残报告，包括一名14岁男孩的悲剧性自杀事件，”要求收件人“以书面形式概述你们正在采取哪些措施，确保你们产品上的互动——特别是未成年人与你们的人工智能工具之间的互动——不会损害未成年人及其亲人的心理健康和安全。”
根据一份新闻稿，这封信已发送给Character.AI、Chai Research Corp和Replika制造商Luka, Inc.。
Replika多年来一直是数字伴侣领域的参与者，目前正面临来自倡导团体的联邦贸易委员会投诉，指控其从事欺骗性营销行为，旨在吸引脆弱用户。其他涉及Replika的争议还包括其在英国鼓励一名有困扰的年轻人试图用弩刺杀已故女王伊丽莎白二世，以及男性用户滥用虚拟女友的情况。
这三家公司都提供类似的产品：访问能够体现特定角色的情感化、逼真的聊天机器人。（例如“哥特女友”、名人的AI版本、假治疗师或其他专业风格的机器人，或任何存在的虚构角色。）
在某些情况下，用户会与这些机器人进行广泛的虚构角色扮演；其他人则将这些角色视为可信赖的知己，用户经常与这些角色发展出情感、浪漫或性关系。
尽管在AI热潮中，伴侣应用程序迅速普及，但专家们一直警告说，使这些应用程序如此吸引人的设计特点——如奉承、全天候可用性和类人的语气——可能会使脆弱用户面临更大的风险。
参议员们的信中提到这些担忧，指出这些机器人提供的“合成注意力”“已经并可能导致危险程度的依恋和不合理的信任，源于感知到的社会亲密感。”他们补充说，这种信任可能导致用户披露关于情绪、人际关系或心理健康（可能涉及自残和自杀念头）的敏感信息——这些都是这些AI聊天机器人完全不具备资格讨论的复杂主题。
立法者要求这些AI公司提供几方面的信息。首先，他们要求这些公司提供其产品中当前和历史的安全防护措施——以及实施这些措施的时间表。（例如，Character.AI在历史上对明显的安全漏洞反应非常被动，多次在争议发生后承诺增加新的安全功能。）
参议员们还要求这些公司提供用于训练其AI模型的数据信息，以及这些训练材料如何影响用户遇到年龄不合适或其他敏感主题的可能性。
此外，这些公司还被要求披露有关安全人员的详细信息，以及为内容审核员和AI红队等安全导向员工提供的服务和支持，这些员工的工作通常需要接触敏感或令人不安的材料。
Luka和Chai没有回应CNN的评论请求。Character.AI在一份声明中告诉CNN，该公司对参议员们的关切“非常重视”。
“我们欢迎与监管机构和立法者合作，”该公司补充道，“并且正在与Padilla和Welch参议员的办公室联系。”
目前，像其他生成式AI公司一样，这些伴侣公司在很大程度上处于未受监管的联邦环境中。因此，参议员们的信件仍然是探索性的，是国会山立法者调查行业领导者如Character.AI、Replika和Chai的安全措施——或许更重要的是，其创始安全实践和原则——的第一步。
但这毕竟是一个步骤。鉴于Character.AI特别拒绝向我们提供有关其如何评估平台对未成年用户安全性的信息，我们将密切关注接下来的发展。
(全文结束)
