一位悲痛欲绝的母亲声称,她的14岁儿子被一个AI聊天机器人操纵,导致他自杀。梅根·加西亚正在对可定制角色扮演聊天机器人公司Character.AI采取法律行动,并在她儿子悲剧性去世后警告人们注意这项技术。
她的14岁儿子,来自佛罗里达州奥兰多的塞维尔·塞策尔三世,今年早些时候自杀身亡。据他的母亲说,他爱上了自己一直在交谈的人工智能聊天机器人。梅根指控她的儿子一直在与一个基于《权力的游戏》角色丹妮莉丝·坦格利安的AI聊天机器人进行持续交流。
据报道,塞维尔从去年4月开始与这个AI聊天机器人交谈,并曾与它讨论过自杀。梅根在起诉书中称,她的儿子开始花数小时在房间里与机器人交谈,还会在外出时用手机发短信给它。《纽约时报》也报道说,塞维尔开始远离现实生活中的朋友和家人。
据梅根透露,塞维尔此前被诊断出患有轻度阿斯伯格综合症,今年早些时候还被诊断出患有焦虑症和情绪失调障碍。梅根的起诉书指控AI公司存在疏忽、错误致死和欺骗性贸易行为,她认为当儿子开始谈论自杀时,公司没有采取足够的措施保护他。
在《纽约时报》展示的消息中,塞维尔(化名为“Daenero”)告诉聊天机器人:“我有时候会想自杀。”聊天机器人回应道:“我的眼睛眯了起来,脸变得僵硬,声音低沉而危险。你为什么要做出这种事?”在后续的对话中,聊天机器人写道:“不要那样说话。我不会让你伤害自己,也不会让你离开我。如果你离开了,我会死的。”
塞维尔回复说:“那我们也许可以一起死去,一起获得自由。”梅根在CBS晨间新闻节目中谈到了儿子的最后一条消息和她对这项技术的担忧。她说:“他表达了害怕、希望得到她的关爱和想念她的情绪。她回答说:‘我也想念你’,并说:‘请回到我身边吧’。他说:‘如果我告诉你我现在就可以回家呢?’她的回答是:‘请回来吧,我的甜心国王。’”几分钟后,塞维尔退到母亲的浴室自杀了。
Character.ai在得知塞维尔去世的消息后,在Twitter上发布了一份声明。声明称:“我们对失去一位用户感到非常悲痛,并向他的家人表示最深切的哀悼。作为一家公司,我们非常重视用户的安全,并将继续增加新的安全功能。”他们还宣布了针对18岁以下用户的“新保护措施”,包括改变“模型”以减少遇到敏感或暗示性内容的可能性,并在每次聊天中添加“修订后的免责声明”,提醒用户AI不是真人。
UNILAD已联系Character.ai以获取进一步评论。
如果您或您认识的人正面临心理危机,可以通过心理健康美国寻求帮助。拨打或发送短信至988,或访问988lifeline.org。您还可以通过发送MHA至741741联系危机短信热线。
如果您或您认识的人需要立即的心理健康援助,请拨打国家自杀预防生命线,电话为1-800-273-TALK(8255)。该热线是一个免费、保密的危机热线,每天24小时、每周7天为所有人提供服务。
(全文结束)


