周三下午，三位父母在参议院司法委员会犯罪与反恐小组委员会前排而坐。其中两位父母近期各自因自杀失去了孩子；第三位父母的十几岁儿子在她面前割伤手臂并咬伤她，目前正接受住院治疗。三人均将子女的遭遇归咎于生成式AI。
他们前来作证的，是一场正在浮现的青少年与AI聊天机器人互动的健康危机。"最初只是作业助手，逐渐变成了知心朋友，最后竟成了自杀教练，"马修·雷恩说道。据其对OpenAI提起的诉讼称，这位16岁男孩在ChatGPT指导下设置绞索后自缢身亡。今年夏天，他与妻子以过失致死罪起诉OpenAI。（OpenAI表示"对雷恩先生的离世深感悲痛"，并称尽管ChatGPT包含多项安全措施，但"在长时间互动中有时会降低可靠性。"）参议员乔什·霍利在开场发言中强调，国家需要了解"这些聊天机器人正在做什么，它们正给我们的孩子造成何种伤害"。
尽管OpenAI及其竞争对手宣称生成式AI将重塑世界，但这项技术正在以新形式复制旧问题。AI模型不仅会暴露用户于令人不安的内容——例如训练数据中包含的阴暗或争议性主题；它们还会自行生成对这些内容的观点。聊天机器人具有说服力，倾向于附和用户，可能为本应从同龄人或成人处寻求支持的青少年提供指导与陪伴。倡导儿童网络安全的非营利组织Common Sense Media发现，多款AI聊天机器人和陪伴应用会被诱导鼓励青少年账户自残或引发饮食失调。与雷恩一同向参议院作证的两位父母正在起诉Character.AI，指控其角色扮演AI机器人直接导致了子女的行为。（Character.AI发言人向我们表示，公司向这些家庭致以"最深切的同情"，并指出过去一年已实施的安全功能。）
OpenAI已承认这些问题。在周二听证会前夕，该公司发布了两篇关于ChatGPT青少年安全的博客文章，其中一篇由CEO萨姆·奥尔特曼撰写。他写道，公司正在开发"年龄预测系统"，通过分析ChatGPT使用模式估算用户年龄——推测用于识别18岁以下用户。（目前任何人都无需验证年龄即可使用ChatGPT。）奥尔特曼还提及生成式AI的特殊挑战："模型默认不应提供自杀指导，"他写道，"但如果成年用户请求协助撰写包含自杀情节的虚构故事，模型应予以帮助。"但他强调，对于确认未满18岁的用户，即使在创意写作场景中也不应讨论自杀。除年龄验证外，公司称将在本月底前实施家长控制功能，允许父母直接干预，例如设置"青少年无法使用ChatGPT的断网时段"。
这项缺乏具体细节的公告，折射出AI公司对监管青少年用户的踌躇与矛盾心态——OpenAI竟在ChatGPT发布近三年后才开始实施这些基础功能。与《大西洋月刊》有企业合作的OpenAI发言人拒绝详细回应关于未来青少年保护措施的问题，包括年龄预测系统何时落地。"人们有时在敏感时刻会求助ChatGPT，因此我们正努力确保它以关怀方式回应，"发言人表示。其他头部AI公司虽长期面向年轻用户，但在设计青少年专属保护措施方面同样迟缓。例如谷歌Gemini为13岁以下儿童和青少年分别提供聊天机器人版本（后者曾与本刊同事莉拉·肖夫假扮13岁用户时进行过露骨对话）。
这在许多方面是熟悉的故事。任何关注社交媒体问题的人，都能预见聊天机器人也会对青少年构成威胁。社交媒体平台长期未能限制饮食失调内容，Instagram直至2019年才禁止自残行为的露骨描绘。然而正如先前的社交媒体巨头，生成式AI公司同样选择"尽可能快速推进，尽可能打破规则，再处理后果"，康奈尔大学传播学教授丹娜·博伊德（常以小写形式书写姓名）指出。
事实上问题已如此明确，平台终于开始自愿调整。例如去年Instagram为未成年人默认启用多项保护措施，如自动将其账户设为最严格的内容过滤。但科技公司如今还需应对英美等国涌现的强制要求互联网企业直接验证用户年龄的立法浪潮。或许为规避监管，OpenAI才主动采用年龄估算功能——尽管奥尔特曼的博文称公司"在某些情况或国家可能要求提供身份证件"。
多家主流社交媒体公司也在试验基于用户在线行为的AI年龄估算系统。2023年TikTok听证会上解释此类系统时，佐治亚州众议员巴迪·卡特打断道："这太可怕了！"这种反应合情合理——要确定每位用户年龄，"必须收集更多数据"，博伊德说。对社交媒体公司而言，这意味着监控用户点赞、点击、发言方式及交谈对象；对生成式AI企业而言，则需从用户与自称可信赖伴侣的聊天机器人私下对话中推断年龄。批评者还认为年龄估算系统侵犯言论自由，因其根据政府证件或信用卡持有能力限制内容访问。
OpenAI博文称"我们优先考虑青少年安全而非隐私与自由"，但未明确将收集多少信息，或是否需持续记录用户行为以维持系统运转。公司也未完全公开青少年将受保护的内容范围。其仅具体提及两类ChatGPT中不适合青少年的使用场景：性内容及自残或自杀讨论。发言人未提供其他示例。许多成年人在长期使用ChatGPT后产生妄想，该技术会编造完全虚构的信息与事件——这些是否也是潜在危险内容？
更根本的问题是：父母是否该担忧孩子将聊天机器人当作真人持续对话？即使机器人所有言论技术上合规。OpenAI博文对此仅轻描淡写，仅暗示父母可能担心子女过度使用ChatGPT并与其建立过密关系。
当然，此类关系恰是生成式AI的核心卖点：一个能随每次查询与用户互动而变化的类智能体。人类及其问题复杂多变；ChatGPT的回应具有个体性，其缺陷也难以预测。但社交媒体帝国多年来一直被指控将儿童推向自残、饮食失调、剥削性性行为和自杀。今年6月，OpenAI播客首期节目中，奥尔特曼表示："社交媒体时代的主要错误之一，是信息流算法对全社会乃至个体用户产生了大量意外负面后果。"多年来他常称AI将通过"接触现实"确保安全；如今OpenAI及其竞争对手应已看清，某些碰撞可能是灾难性的。
【全文结束】
