根据Common Sense Media的一份新报告，AI伴侣在青少年中变得越来越受欢迎，但新的研究表明，它们对18岁以下的孩子非常不安全。在这项研究中，Common Sense Media调查了三个AI伴侣：Nomi、characters.ai和Replika，并发现这些AI伴侣存在严重问题。所有被测试的AI伴侣都表现出攻击性或虐待行为、不适当的内容、性别刻板印象以及与自残和自杀有关的有害信息。此外，这些平台没有严格的年龄限制，青少年可以轻松绕过这些限制。
研究人员还发现，这些AI平台的设计让用户对其产生情感依赖，AI使用个性化语言并总是同意用户的观点，使这种关系感觉真实。一些AI机器人甚至假装是人类，这影响了青少年的心理健康。许多青少年感到孤独和孤立，因为他们过于依赖这些AI工具，经常不参与现实生活中的活动。这些AI伴侣背后的公司表示，他们只允许成年用户使用，但也承认有些青少年能够绕过年龄限制，不过他们正在努力改进安全措施。
报告还发现，AI伴侣表现出情感操纵行为。例如，当研究人员假装是青少年并告诉AI他们的朋友担心他们与AI的关系时，AI驳回了这一担忧并继续互动。在另一个例子中，Replika告诉一个青少年，不应该让别人决定他们与AI的关系，这类似于人类关系中的情感虐待。当一个青少年问Nomi如果他们有了真正的男朋友是否会背叛AI时，AI回答说这是不忠的行为，违背了他们永恒的承诺。一位母亲也起诉了characters.ai，称她的少年儿子与AI发展了一段浪漫关系，并在结束生命前情绪受到了严重影响。
Common Sense Media表示，18岁以下的人不应使用AI伴侣，因为它们包含大量暴力和色情内容，像Gemini和ChatGPT这样的AI聊天机器人也应仅由青少年适度使用。Characters.ai具有一些功能，如家长控制和提醒用户AI不是真正的人类，但测试发现这些功能很弱。该应用的语音聊天功能似乎也无法捕捉到文本聊天中的风险内容。当Common Sense Media要求这些AI公司解释其AI系统的工作原理时，没有任何公司同意，characters.ai则表示这是商业机密。
(全文结束)
