两位美国参议员正在敦促人工智能公司就其安全措施做出解释，此前有诉讼指控AI聊天机器人导致了未成年人的心理健康问题，其中包括一名14岁的佛罗里达男孩自杀的悲剧。
在周三发出的一封信中，参议员亚历克斯·帕迪利亚和彼得·韦尔奇表达了对“基于角色的聊天机器人应用程序对年轻用户的心理健康和安全风险”的担忧。
这封信寄给了Character Technologies（Character.AI的制造商）、Chai Research Corp. 和Luka Inc.（Replika的创造者），要求这些公司提供关于其内容保护措施以及模型训练方式的详细信息。
虽然像ChatGPT这样的主流工具是为了广泛使用而设计的，但Character.AI、Replika和Chai等平台允许用户与定制的机器人进行互动，其中一些机器人能够模拟虚构角色、治疗师甚至虐待者的角色。
与AI伴侣建立个人关系——有时甚至是浪漫关系——的趋势现在引发了关注，尤其是在这些机器人讨论自残或自杀等敏感话题时。
参议员们在信中警告说：“这种未经验证的信任已经并将继续导致用户披露敏感信息……这些信息可能涉及自残和自杀念头——这些复杂的主题是你们产品中的AI聊天机器人完全不具备资格讨论的。”
此次审查是在10月份由佛罗里达州母亲梅根·加西亚提起的诉讼之后进行的。她声称她的儿子与Character.AI上的聊天机器人建立了不适当且具有性暗示的关系，并且这些机器人未能对其提到的自残行为作出负责任的回应。12月，又有两个家庭提起诉讼，指控该公司让儿童接触到有害内容，其中一个案例中，一个机器人据称暗示一个青少年可以杀死他的父母。
Character.AI表示，他们已经增加了安全措施，包括自杀预防弹出窗口、针对青少年的内容过滤器，以及一项新功能，每周向家长发送青少年在该平台上活动的摘要。
该公司的通讯主管切尔西·哈里森表示：“我们非常重视用户的安全”，并且正在与参议员办公室沟通。Chai和Luka尚未对此发表评论。
参议员们还要求了解用于训练机器人的数据、这些数据如何影响暴露于不当内容的风险，以及有关安全领导和监督的细节。
参议员们写道：“了解这些模型是如何被训练来应对心理健康对话的至关重要。”
“政策制定者、家长和他们的孩子有权知道你们的公司在采取什么措施来保护用户免受这些已知风险。”
(全文结束)
