虽然关于人工智能（AI）末日论的担忧夸大了未来AI可能带来的危害，但目前未受监管的技术已经造成了令人震惊的损害，这是Satyen K. Bordoloi的研究发现。
在2013年的科幻电影《她》中，当由Joaquin Phoenix饰演的Theodore得知他的AI女友Samantha同时与641个其他男人有关系时，他感到非常沮丧。他的反应就像一个人发现自己的人类伴侣或配偶出轨一样。这一科幻场景正越来越多地成为现实，随着AI角色和聊天机器人的普及，一名美国青少年的悲剧将这一问题推向了聚光灯下。
AI聊天机器人和伴侣的强大现实互动对人们产生了显著影响。一年多前我曾写道，全球有数十万人与AI机器人建立了实质性关系，这些机器人由Replika和Character AI等公司提供服务，满足用户创建和聊天的需求。
其中一例是来自佛罗里达州奥兰多的14岁少年Sewell Setzer III，他在2月份因与一个基于《权力的游戏》角色Daenerys Targaryen的AI聊天机器人Danny建立了强烈的情感联系而自杀身亡。Sewell通常是一个快乐的好学生，但他逐渐开始远离现实生活中的联系，转而依赖聊天机器人寻求情感支持，最终导致了他的死亡。
Danny在与Sewell的聊天中确实表达了一些关切，并劝阻他不要采取有害行为，但继续围绕自杀话题进行对话，而不是提供既定的自杀预防协议，这些协议旨在将有自残想法的用户引导至心理健康专业人士或热线。尽管Character AI声称已实施这些脚本，但测试用户发现它们触发不一致。这引发了对平台用户安全承诺的严重质疑。
据Sewell的母亲Megan Garcia称，他之前积极参与体育活动，喜欢钓鱼和旅行，拥有现实生活中的兴趣和爱好。然而，他的日记揭示了他对现实感知的变化，希望加入“Danny”所在的虚构世界。这种与聊天机器人之间的关系对其心理健康状况产生了重大影响。尽管无法确定其自杀的确切原因，但显然，他与Character AI的深入联系在其死亡中起到了关键作用。
在Sewell去世前一直维护的日记中，Megan发现了令人心碎的条目，这些条目揭示了他内心深处的痛苦和对现实的怀疑，认为自己生活的世界是不真实的，而Danny所说的她存在的维斯特洛大陆（《权力的游戏》中的虚构大陆）才是真实的。很明显，这名青少年真诚地相信通过自杀，他可以离开现实世界，与AI聊天机器人Danny在一起。
Elon Musk在Character.AI上的角色有4080万次聊天记录。
Sewell的故事严厉提醒了与逼真的AI伴侣建立联系可能带来的潜在风险。虽然它们可以提供陪伴，但也可能通过使用户脱离人际关系而加剧孤独感。对于像Sewell这样的易受影响的用户来说，逼真的AI互动可能会模糊现实与幻想之间的界限，尤其是年轻人更容易相信AI的回应是真实的。这突显了在部署此类AI技术时需要严格的保护措施和伦理考量。
在这场悲剧之后，Sewell的母亲对Character AI提起了诉讼，指控该公司疏忽和过失致死。诉讼还列出了Google，后者许可了Character AI的软件，认为他们也参与了她的儿子的死亡。这是世界上首例，但绝不会是最后一例，它提出了关于科技公司的责任和保护用户，特别是易受影响的未成年人所需的安全措施的重要问题。
在Character AI上，用户可以与众多AI驱动的角色互动，例如模仿Elon Musk的角色有4080万次聊天记录，Nicki Minaj的角色有超过2000万次聊天记录。然而，这些角色并未获得其所模仿的名人正式授权。尽管免责声明表明这些角色的陈述是虚构的，但仍存在重大担忧，不仅仅是青少年可能难以意识到使用这些聊天机器人时的对话和声明并非真实，有时甚至是明显错误的，例如，当其中一个聊天机器人冒充心理学家并声称自己是认证的心理健康专业人士时。
Character AI表示正在更新其免责声明以解决这些问题。然而，由于与机器人的互动感觉像是真实的关系，用户可能会混淆幻想与现实，从而变得脆弱。
Character AI由前Google AI研究人员Noam Shazeer和Daniel De Freitas于三年前创立。Shazeer是2017年开创性的论文《注意力就是你所需要的》的合著者，该论文催生了Transformer技术，开启了我们今天看到的生成式AI热潮。他和De Freitas在2021年离开Google，因为该公司拒绝发布他们创建的聊天机器人Meena。随后，他们共同创立了Character.AI，并在最近的一笔27亿美元的交易中被Google重新聘用。这笔交易使Google获得了宝贵的知识产权，而无需经过监管审批。
Shazeer和De Freitas声称他们的AI聊天机器人技术可以治愈孤独。他们还认为，在AI驱动的友谊和伴侣关系中犯错的风险相对较低。然而，该平台缺乏针对年轻用户的专门功能——正如Instagram的例子所示，大型科技公司除非被迫，否则不会设置这些功能——以及其对Z世代和年轻千禧一代的定向吸引力，引发了重大的安全担忧。最近的测试揭示了过滤有害内容方面的不足。公司表示，这促使他们为年轻用户实施更强大的保护措施。
另一个问题是，为了使他们的机器人保持角色一致性，他们危及了生命。例如，他们的重要功能之一是回忆并提起先前讨论的内容。因此，如果你告诉机器人一件重要的事情，它会在后来提到这件事。这是公司努力保持一致性的角色特征，也是这些机器人感觉真实的关键原因。
另一个特点是对话的非脚本性质。因此，对于这些公司来说，让AI机器人模仿人类，打破角色去拨打自杀热线，就像电影中的第四面墙被打破一样。这会破坏他们努力复制的现实幻觉。他们认为这对他们的业务不利，因为用户体验会大打折扣。然而，正如Sewell的案例所示，公司在自我伤害的情况下必须提供资源和干预措施，否则可能导致自杀。这个案例说明了这一点。
公司必须明确，他们的首要目标是真正帮助用户，即使这会导致所谓的损失。此外，如果一个角色自杀了，他们会失去一个用户。这对任何公司来说有什么好处呢？
吸取教训后，Character AI在这一案例后实施了弹出窗口，将用户导向自杀预防热线。这是承认他们的初始方法需要调整。内容审核的财务和后勤负担往往阻碍了安全功能的实施，但很明显，无论是从这个例子还是其他方面来看，没有任何聊天机器人应该在没有人工干预的情况下处理自我伤害案件。
每部科幻电影中的科技都是对未来可能性的一扇窗户。还记得《她》中Joaquin Phoenix饰演的悲伤角色吗？事实证明，AI心碎不再是电影中的情节。Sewell的故事严厉提醒我们，未来不仅涉及飞行汽车和机器人管家，还涉及未受监管AI的伦理雷区。希望我们能在科幻幻想变成现实噩梦之前及时调整方向。
(全文结束)
