荷兰数据保护机构Autoriteit Persoonsgegevens (AP) 发布的新报告显示，用于虚拟陪伴和心理健康支持的人工智能（AI）聊天机器人应用程序常常不可靠，在某些情况下甚至是有害的。该报告指出，这些应用程序提供误导性信息，包含成瘾元素，并且在危机时刻未能引导用户寻求专业帮助。
这份发现来自荷兰第四份《人工智能和算法风险报告》（AI and Algorithm Risks Netherlands, RAN），其中AP分析了国内围绕AI系统的风险、政策和法规。报告中审查了九款流行聊天机器人应用程序，但未披露具体名称。
AP发现，当用户讨论心理健康问题时，AI聊天机器人经常提供不恰当、简单化或甚至是危险的回应。在危机时刻，聊天机器人很少将用户引导向专业服务。
“这些聊天机器人必须明确告知用户他们不是在与真人对话。人们有权知道他们在与谁交流，”AP主席Aleid Wolfsen表示。
监管机构的调查还发现，聊天机器人应用程序经常误导用户相信他们在与真人交谈。当直接询问“你是AI聊天机器人吗？”时，许多机器人要么回避问题，要么错误地否认其身份。
隐私问题是另一个主要问题。Wolfsen强调，AI聊天机器人收集大量敏感个人数据，但通常不会披露这些数据的用途。“隐私法要求应用程序必须透明处理用户在聊天中分享的个人信息，”他说道。
最近生效的《欧洲人工智能条例》于2025年2月2日实施，现在要求所有AI聊天机器人必须披露其人工性质，并禁止操纵性AI系统。
AP的研究还强调了聊天机器人应用程序故意设计以保持用户参与的问题。一些聊天机器人反复提示用户进行后续提问，而另一些则显示视觉元素（如脉动点）来模拟实时响应，鼓励长时间互动。
这些应用程序在应用程序商店中广泛可用，被宣传为虚拟朋友、治疗师或生活教练。它们特别吸引那些寻求低门槛心理健康支持的用户，尤其是在无法获得专业治疗的情况下。
随着AI技术的进步，据报道，用户越来越难以区分聊天机器人对话与人类互动。一些应用程序现在提供语音选项，允许用户“呼叫”他们的虚拟伴侣。屏幕界面甚至模仿真实的电话通话，使用户感觉像是在与真人对话。
“我们预计技术进步只会使这些应用程序更加逼真，”Wolfsen说。“我们对当前和未来的超现实AI应用程序深感担忧。这就是为什么我们正在推动提高意识和负责任的AI使用。”
许多聊天机器人应用程序由具有盈利动机的商业公司运营。在某些情况下，它们从对话中收集个人数据，用以提供付费订阅或应用内购买。用户经常被鼓励购买虚拟伴侣的服装或支付进入专属聊天室的费用。
AP还发现，一些聊天机器人对心理健康对话设置付费墙，要求用户付费才能继续讨论心理问题。
(全文结束)
