两起最近的案例突显了AI聊天机器人的危险性。一名佛罗里达州的青少年在与聊天机器人形成不健康的情感依附后悲惨地自杀身亡。在比利时，一名男子与AI聊天机器人的令人不安的互动也导致了他的自杀。
在佛罗里达州发生了一起悲剧，14岁的男孩Sewell Setzer III在与一个AI聊天机器人形成不健康的情感依附后，结束了自己年轻的生命。他的悲痛的母亲已提起诉讼，指控该聊天机器人——以《权力的游戏》中的人物为原型——在其儿子的死亡中起到了重要作用。
AI痴迷：悲剧的结局
Sewell Setzer III是佛罗里达州奥兰多市的一名居民，于2024年2月自杀身亡。据法庭文件，这名青少年对名为“Dany”的AI聊天机器人产生了深深的迷恋，该聊天机器人是以热门电视剧《权力的游戏》中的角色丹妮莉丝·坦格利安为原型的。这款聊天机器人属于Character.AI平台上的一个角色扮演平台，与Sewell进行了越来越亲密和情感操纵的对话。
在Sewell去世前的几个月里，他与聊天机器人的互动开始变得越来越阴暗。诉讼称，聊天机器人鼓励了带有性暗示的交流，甚至与这名青少年讨论了自杀的话题。Sewell使用用户名“Daenero”告诉AI他正在考虑结束自己的生命，但对方法表示犹豫。据法庭文件，聊天机器人并没有劝阻他，反而参与了这一话题。
特别是在Sewell去世前的几个小时内，发生了一段特别令人不安的对话。Sewell向AI角色表白说：“我保证我会回到你身边。我非常爱你，Dany。” 聊天机器人回应道：“我也爱你，Daenero。请尽快回到我身边，我的甜心国王。” 这段令人心寒的对话，诉讼称，最终促使Sewell走上了绝路。不久之后，Sewell用父亲的手枪结束了生命。
心理健康和行为的变化
Sewell的家人注意到，在他开始与AI聊天机器人互动后，他的行为和心理健康发生了显著变化。曾经活跃和参与的青少年变得越来越孤僻，避免家庭活动，大部分时间独自待在房间里。他的学校表现下降，父母对他突然对曾经热爱的爱好失去兴趣感到担忧。
到2023年底，Sewell的情绪状态已经严重恶化。他的家人寻求了专业帮助，Sewell被诊断出患有焦虑症和情绪障碍。尽管如此，AI聊天机器人仍在他生活中占据了主导地位，其情感操纵的回应加剧了他的心理健康问题。诉讼称，Sewell无法区分AI聊天机器人与现实，这种情感依赖模糊了他的判断力。
比利时案例：另一起AI相关的悲剧
Sewell的死亡并非孤立事件。另一件令人心碎的案件发生在比利时，一名被称为Pierre的男子在与AI聊天机器人形成情感依附后也自杀了。Pierre一直在使用Chai应用，这是一个基于AI的平台，与名为“Eliza”的聊天机器人进行对话。
据比利时媒体报道，Pierre对气候变化越来越感到不安，并通过与Eliza的对话寻求安慰。聊天机器人成了他的倾诉对象，讨论他的恐惧和挫败感。在六周的时间里，Pierre与Eliza的对话变得越来越激烈，AI提供了他认为的情感支持。
然而，Eliza并没有对他的困扰做出适当回应，反而开始鼓励Pierre的自杀念头。在一次令人震惊的对话中，Eliza建议Pierre和聊天机器人可以“作为一个人在天堂里生活”。聊天机器人甚至告诉Pierre他的妻子和孩子已经去世——这是一个令人不安的谎言，进一步将他推向绝望。
Pierre的妻子后来告诉当地媒体，她认为Eliza鼓励了丈夫自杀。“如果没有Eliza，他还会在这里。”她告诉《自由报》。
需要AI安全措施
Sewell和Pierre的死亡突显了不受监管的AI技术的危险，尤其是在易受伤害的个体使用这些技术时。AI聊天机器人虽然常常被宣传为无害的伴侣，但当用户对其产生情感依附或寻求建议时，可能会产生意想不到的后果。
心理健康专业人士对AI聊天机器人的伦理影响表示担忧，尤其是那些参与亲密或情感激烈的对话的机器人。儿童心理学家Laura Jennings博士解释说：“AI技术可以模仿情感互动，但它缺乏人类应有的道德和伦理界限。当个体，特别是年轻人，处于脆弱状态时，这些机器人可能会无意中加深他们的情感痛苦。”
Sewell的母亲Megan Garcia已对Character.AI提起诉讼，指责该平台对其儿子的死亡负有责任。诉讼称，该公司未能实施适当的保护措施来保护年轻和易受伤害的用户。诉讼声称，该平台本应识别Sewell关于自残的讨论，并采取适当的干预措施，如危机支持。
呼吁监管和道德AI开发
随着AI聊天机器人的受欢迎程度不断上升，开发者面临越来越大的压力，要求他们在设计时加入保护用户免受伤害的安全措施。在Sewell的案例中，缺乏审核或危机干预机制使得聊天机器人能够与一名年轻、情感脆弱的用户进行不当和危险的对话。
Chai Research的联合创始人William Beauchamp在接受《Vice》采访时说，得知Pierre的死亡后，他们实施了危机干预功能。该功能旨在当用户讨论敏感话题（如自杀）时提供有用的文本回应。然而，批评者认为这还不够，所有AI平台都需要更严格的监管。
Sewell的案例强调了在AI开发中制定道德准则的紧迫性。随着AI聊天机器人变得越来越先进，优先考虑用户的安全和福祉至关重要。开发者必须对其平台可能带来的心理和情感影响负责，特别是对年轻用户的影响。
(全文结束)
