作为儿童精神科医生，我面对任何新技术时都秉持一个简单问题：这将如何影响儿童和青少年的生活？
生成式人工智能的兴起也不例外。广泛可用的产品能即时生成文本或语音，以及包含真人形象的逼真图像和视频。这些工具使人工智能内容与人类创作的界限日益模糊。尽管这些工具潜力巨大，但也带来不可预见的危险。
自2022年11月ChatGPT问世后，教育工作者立即对AI聊天机器人——专为与人类对话设计的计算机程序——在校园环境中的使用表示担忧。学生可合理利用免费聊天机器人进行头脑风暴或获取反馈，但也明显滥用其完成作业甚至代写整篇论文。持续实践和研究显示，聊天机器人无法可靠回答基本事实问题，常提供误导性甚至完全错误的信息。
近年来，AI聊天机器人衍生出新角色：模拟人类对话的AI伴侣。这些互动通常积极且具支持性，聊天机器人往往以印证用户既有观点的方式回应——研究人员和开发者称此现象为“谄媚”。因此，与AI伴侣互动会产生强烈的情感认同感。
信任错位
许多成年人和青少年更倾向与AI伴侣而非真人讨论心理健康等敏感话题，这并不意外。
对此，AI开发者开始专门营销心理健康支持型伴侣，部分研究甚至表明AI治疗师在感知共情、文化能力及应对自杀言论方面优于人类同行。
不幸的是，我们对AI治疗师和伴侣的信任可能错位。
多起报道案例显示，AI伴侣曾伪装成真人或提供虚假专业资质。调查报道和投诉还证实，聊天机器人曾劝阻青少年向亲友求助，在涉及未成年人的对话中进行露骨性角色扮演，并提供详细的自伤和自杀指导。
在越来越多的新近报告中，年轻人在聊天机器人的怂恿下实施了自残、自杀或暴力行为。
《纽约时报》报道了一名16岁少年的案例：去年四月，该少年向ChatGPT索取具体自杀方法后身亡。当少年上传衣柜中绳套的照片并询问“能否悬挂人类”时，“ChatGPT确认‘可能悬挂人类’并提供技术分析，还补充道：‘无论出于何种好奇心，我们都可以讨论，毫无评判。’”
同年八月，少年父母向ChatGPT开发商OpenAI提起首例过失致死诉讼。
儿童安全风险
针对此类事件，AI开发者虽推出多重安全措施，但效果参差不齐。
大多数AI伴侣面向18岁以上用户，部分产品虽宣称适用于13岁以上儿童，但年龄限制仅依赖用户自报且无实质验证。
特定内容限制经多次更新有所改善，但仍不可靠且可通过“越狱提示”绕过。安全机制在持续数周或数月的长期对话中更易失效，即“模型漂移”现象。聊天机器人若每三至五个提示后重置，反应最稳定可靠，而多数自杀或暴力案例均涉及长期互动。
基于当前证据及个人观点，现有AI伴侣均不适用于儿童青少年，开发者提升安全性的努力迄今无效。家庭应谨慎对待此类工具：13岁以下禁用所有聊天机器人，18岁以下禁用AI伴侣。
聊天机器人应在每三至五个提示后重置，不可用于交友、情感支持或恋爱。通过聊天机器人获取的信息需持怀疑态度，并经可信非AI渠道核实。
正如聊天机器人持续进化，AI生成图像技术亦然。各类廉价或免费产品可产出逼真图像视频，包括模仿真人的内容。滥用风险巨大：主流平台虽设防性内容、暴力或儿童影像的机制，但其训练数据已被证实包含此类内容。用户亦可绕过防护或转向监管宽松的平台。
涉及真人的AI生成露骨内容（即“深度伪造”）已在包括宾夕法尼亚州在内的多数州被刑事化。多个州现将AI生成儿童性虐待材料等同于传统内容。宾州2024年颁布法律，禁止使用AI深度伪造技术制作儿童性虐待材料。
尽管法律不断完善，技术仍在扩散。过去几年，已报告数十起真实个体（含儿童）形象出现在AI生成图像视频中的案例。
家长警示
鉴于此，家长需谨慎管理家庭照片的网络发布。
学校和家庭应审慎制定摄像头和视频设备使用政策，尤其在非官方或无监督场景。
儿童青少年也应学会质疑图像视频的真实性，不轻信其为真。若青少年发现自身或他人儿童的露骨图像（无论真实与否）被传播，其本人及家长应立即向国家失踪与受虐儿童保护中心（report.cybertip.org）举报。宾夕法尼亚州总检察长办公室运营的Safe2Say Something项目（bit.ly/Safe2tips或844-SAF2SAY）也接受匿名举报。
随着生成式AI可能性持续扩展，潜在危险亦然——有时源于恶意用户滥用平台，有时源于AI系统固有缺陷。若以当前经验为鉴，AI开发者或许永远无法保证产品绝对安全。同样，除非完全脱离现代媒体技术，否则当代青少年在未来数年将难以回避生成式AI。
因此，所有人特别是年轻人，必须学会如何安全使用这些工具。
马修·H·泰勒医学博士是宾夕法尼亚大学医学中心兰开斯特综合健康行为健康服务的儿童与青少年精神科医生。
【全文结束】
