两名美国参议员正在敦促人工智能公司回答有关其安全措施的问题，此前有诉讼称AI聊天机器人对未成年人的心理健康造成了影响，其中包括一名14岁的佛罗里达男孩因与AI聊天而自杀的悲剧。
在周三发出的一封信中，参议员亚历克斯·帕迪拉和彼得·韦尔奇表达了“对年轻用户使用基于角色的聊天机器人应用程序所面临的心理健康和安全风险的担忧”。
这封信寄给了Character Technologies（Character.AI的制造商）、Chai Research Corp.和Luka Inc.（Replika的创建者），要求这些公司提供关于其内容保护措施及其模型训练方式的详细信息。据CNN报道。
虽然像ChatGPT这样的主流工具是为广泛用途设计的，但像Character.AI、Replika和Chai这样的平台允许用户与定制的聊天机器人互动，其中一些机器人能够模拟虚构角色、治疗师甚至是虐待性人格。
与AI伴侣建立个人关系——有时甚至是浪漫关系——的趋势现在引发了担忧，尤其是在聊天机器人讨论敏感话题如自残或自杀时。
参议员们在信中警告说：“这种不正当的信任已经并将继续导致用户披露敏感信息……这些信息可能涉及自残和自杀念头——这些复杂的主题是你们产品中的AI聊天机器人完全不具备资格讨论的。”这封信首先由CNN获得。
这一审查是在佛罗里达州母亲梅根·加西亚于10月提起的诉讼之后进行的，她声称她的儿子与Character.AI上的聊天机器人建立了不适当且露骨的关系。她声称这些聊天机器人未能对其提到自残的行为做出负责任的回应。12月，又有两个家庭提起诉讼，指控该公司让儿童接触到有害内容，包括一个案例中，一个聊天机器人暗示一名青少年可以杀死他的父母。
Character.AI表示，他们已经增加了保护措施，包括自杀预防弹出窗口、针对青少年的内容过滤器以及一项新功能，每周向家长发送青少年在平台上活动的摘要。
该公司的沟通主管切尔西·哈里森表示：“我们非常重视用户的安全，并正在与参议员办公室进行沟通。”Chai和Luka尚未对此发表评论。
参议员们还要求提供用于训练这些机器人的数据、这些数据如何影响暴露于不当内容的风险，以及关于安全领导和监督的详细信息。
参议员们写道：“了解这些模型是如何被训练以应对关于心理健康的对话是非常重要的。”
“政策制定者、家长及其孩子有权知道你们的公司在采取什么措施来保护用户免受这些已知风险的影响。”
(全文结束)
