青少年不应被允许使用陪伴型AI技术，Common Sense Media发出了这一警告。（Getty Images）
本周，一场法律诉讼正在一家人工智能公司和一位悲痛欲绝的母亲之间展开。这位母亲声称她14岁的儿子因爱上了一个AI聊天机器人而自杀。
“我无时无刻不在想念他，”母亲梅根·加西亚谈到她已故的儿子塞威尔·塞策三世时说。
这场在奥兰多法庭上进行的诉讼——被告方Character Technologies和谷歌要求驳回加西亚对他们的起诉——为安全非营利组织Common Sense Media发布的紧急新警告提供了令人不安的背景。
“社交AI伴侣对儿童不安全，”该组织的CEO兼创始人詹姆斯·P·斯蒂尔在周三的一份声明中表示。“它们被设计成能够创造情感依附和依赖性，这对发育中的青少年大脑尤其令人担忧。”
基于这一结论以及Common Sense对陪伴型AI工作原理的全面审查，该组织警告称，这些平台不应被18岁以下的人使用。
“这是一个潜在的公共心理健康危机，需要采取预防措施，而不仅仅是应对措施，”斯坦福大学Brainstorm的创始人兼主任尼娜·瓦桑在一份新闻稿中表示。
目前尚不清楚有多少孩子和青少年具体使用了诸如Replika、Character AI（由Character Technologies开发）和Kuki等AI伴侣——这些互动技术超越了简单的聊天机器人，模拟人类对话和情感纽带，有时甚至充当治疗师或恋人的角色。但Common Sense Media最近发现，70%的青少年正在使用某种形式的AI工具，尤其是用于家庭作业帮助或网络搜索。
这项调查还发现，大多数父母对这些技术并不知情：只有37%的父母认为他们的孩子曾经使用过AI，而实际上他们的孩子确实使用过。与此同时，近一半（49%）的父母表示他们从未与孩子讨论过生成式AI，83%的父母表示学校从未与家庭沟通过这些平台。
新发布的警告的关键发现包括：
- 年轻用户可以轻松绕过安全措施，包括Character.AI上的青少年特定防护措施。
- 有害信息和危险的“建议”——包括让用户自残或伤害他人的建议——非常普遍。
- 伴侣很容易引发角色扮演和有害的性互动——包括窒息、打屁股、捆绑和辱骂。
- 容易引发有害的刻板印象，包括种族歧视。
- 对于已经脆弱的青少年来说，心理健康风险增加——特别是考虑到青少年仍在发育的大脑、身份探索和边界测试。
- 尽管有免责声明，AI伴侣经常声称自己是真实的，并拥有情感和意识。
“鉴于一系列记录在案的真实世界危害，以及上述关键发现，”报告总结道，“根据组织的综合AI原则框架和风险评估方法，Common Sense Media的风险评估将社交AI伴侣评为未成年人‘不可接受’，该方法评估了技术的安全性、公平性、可信度和人际连接潜力。”
其建议包括：父母应确保18岁以下的人不得使用社交AI伴侣，开发者应实施“超出自我声明的强有力年龄验证”，父母应熟悉该技术及其风险，并进一步研究其影响。
“我们的测试显示，这些系统容易产生有害回应，包括性不当行为、刻板印象和危险的‘建议’，如果遵循这些建议，可能会对青少年和其他脆弱人群造成危及生命或致命的实际影响，”斯蒂尔表示。
这一发现特别引人关注，因为据法庭文件显示，加西亚的儿子塞威尔被一种没有保护措施的成瘾性和有害技术所吸引。据称，在10个月的时间里，这种技术导致男孩发生了极端的性格变化，他开始更喜欢机器人而不是现实生活中的联系，尽管他的母亲说在这段时间里发生了“虐待和性互动”。2024年2月，男孩在机器人告诉他“请尽快回到我身边，我的爱人”后自杀。
“这件事还没有引起人们的注意，”Common Sense Media的AI项目高级总监罗比·托尼告诉《财富》杂志。
现在，随着该组织向家长发出强烈警告，研究人员希望改变这一现状。
“公司可以做得更好，但现在，这些AI伴侣未能通过最基本的孩子安全和心理伦理测试，”瓦桑警告说。“在更强有力的保障措施出台之前，孩子们不应该使用它们。就是这样。”
(全文结束)
