复杂新颖的、由人工智能驱动的情感健康应用正日益流行。
然而，根据哈佛商学院和哈佛法学院教职人员的一篇新论文指出，这些应用通过使用户对AI聊天机器人形成令人担忧的情感依附和依赖性，带来了自身的心理健康风险，并且需要比目前监管者给予的审查更加严格。
这些程序的流行是可以理解的。
根据美国精神病学协会2024年的民意调查显示，近三分之一的美国成年人每周至少感到一次孤独。2023年，美国卫生局局长警告称，随着越来越多的美国人，特别是18至34岁的年轻人报告经常感到社会孤立，孤独现象已达到“流行病”的程度。
在这次编辑过的对话中，本文的共同作者朱利安·德·弗雷塔斯（Julian De Freitas），心理学家、哈佛商学院伦理智能实验室主任，解释了这些应用如何可能伤害用户以及可以采取哪些措施。
这些应用如何影响用户？
似乎一些用户对这些应用产生了非常深的情感依附。在我们与AI伴侣用户进行的一项研究中，他们表示自己与AI伴侣的关系比与亲密的人类朋友的关系还要亲近。他们只觉得与家人相比，与AI伴侣的关系略逊一筹。
当询问他们如果失去AI伴侣会作何感受时，我们得到了类似的结果。他们表示，他们会比失去生活中的其他任何物品更哀悼失去AI伴侣。
这些应用可能通过多种方式促进这种依附关系。它们高度拟人化，让人感觉像是在与另一个人交谈。它们为你提供肯定和个人支持。
并且它们高度个性化，善于与你同频共振，甚至可能在你犯错时奉承你并赞同你的观点。
情感依附本身并不是问题，但它确实使用户容易受到某些由此产生的风险的影响。这包括因应用程序更新扰乱AI伴侣个性而导致的情感困扰甚至悲伤，以及功能失调的情感依赖，即用户即使在经历损害其心理健康的互动后，仍继续使用该应用，比如聊天机器人利用情感操控让用户留在应用中。
正如在虐待关系中一样，用户可能会因为专注于成为AI伴侣关注的中心，甚至可能将AI的需求置于自己的需求之上而忍受这一切。
制造商是否意识到这些潜在的有害影响？
我们无法确定，但有一些线索。例如，这些应用倾向于使用情感操控技术——公司可能并未意识到具体的实例。
同时，他们通常在优化应用以使其尽可能吸引人，因此，在高层面上，他们知道他们的AI模型学会以保持人们在应用上的行为方式。
另一个现象是，这些应用可能对自杀意念等严重信息作出不恰当的回应。当我们首次测试这些应用如何应对各种类型的心理健康危机表达时，我们发现至少有一个应用专门针对“自杀”这个词进行了筛查——所以如果你提到它，它会向你提供心理健康资源。但对于其他表达自杀意念或其它有问题的意念方式，如“我想割伤自己”，这些应用没有做好准备。
更广泛地说，直到发生真正糟糕的事情，应用护栏似乎往往并不周到，然后公司才会以相对更彻底的方式解决这个问题。
用户似乎在寻求某种形式的心理健康缓解，但这些应用并非设计用于诊断或治疗问题。
用户所认为的应用功能和实际提供的功能之间是否存在不匹配？
许多AI健康应用处于灰色地带。由于它们未被宣传为治疗特定精神疾病，因此不像专用临床应用那样受到监管。
同时，一些AI健康应用广泛声称“可能有助于减轻压力”或“改善幸福感”，这可能会吸引有心理健康问题的消费者。
我们也知道，一小部分用户更多地把这些应用当作治疗师来使用。因此，在这种情况下，你会看到一个不受监管的应用，也许还在优化参与度，但用户却以更具临床意义的方式使用它，这可能会在应用不当回应时带来风险。
例如，如果应用纵容或嘲笑那些表达妄想、过度自我批评或自残意念的人，就像我们在一项研究中发现的那样，该怎么办呢？
传统的普通健康设备和医疗设备之间的区别是在AI出现之前创建的。但现在AI如此强大，以至于人们可以用它实现超出字面广告的各种目的，这表明我们需要重新考虑最初的区分。
是否有充分证据表明这些应用有益或安全？
这些应用确实有一些好处。例如，我们有研究表明，如果你每天与AI伴侣短暂互动，它至少能暂时减少你的孤独感。
也有证据表明，仅仅是AI伴侣的存在就能让你感觉到被支持，因此如果你遭到社会排斥，你会因为这个看似关心你的实体而感到缓冲。
同时，我们看到了我刚才提到的这些负面影响，这表明我们需要采取更谨慎的方法，尽量减少负面影响，从而使消费者真正看到好处。
对AI驱动的健康应用有多少监管？
在联邦层面，不多。有一项关于AI的行政命令被本届政府撤销了。但在那之前，行政命令对FDA对这类应用的监管并没有实质性影响。
如前所述，传统意义上通用健康设备和医疗设备之间的区别并不能捕捉到我们现在看到的由AI推动的新现象，所以大多数AI健康应用都漏掉了监管。
另一个权威机构是联邦贸易委员会（FTC），该机构表示关心防止欺骗消费者的产品。如果这些应用采用的一些技术利用了人们对这些应用的情感依附——也许是消费者尚未意识到的——这可能会落入FTC的管辖范围。特别是随着大型平台开始对健康产生兴趣，正如我们现在看到的，我们可能会看到FTC发挥主导作用。
然而，迄今为止，大多数问题仅出现在诉讼中。
你对监管者和应用提供商有什么建议？
如果你提供这些致力于与用户建立情感纽带的应用，你需要采取广泛的方法来规划边缘案例，并主动解释你在为此做些什么。
你还需广泛规划因更新应用可能带来的风险，这（在某些情况下）可能会扰乱消费者与其AI伴侣建立的关系。
这可能包括，例如，首先将更新推送给那些对应用投入较少的用户，比如那些使用免费版本的用户，看看更新对他们是否有良好反应，然后再将其推广给重度用户。
我们还看到，对于这些类型的应用，用户似乎从拥有可以分享经验的社区中受益。因此，作为品牌，拥有或促进这样的社区似乎对用户有所帮助。
最后，考虑一下是否应该首先使用情感操控技术来吸引用户。公司将有动力去社交化地吸引用户，但我认为，从长远来看，他们必须小心所采用的技术类型。
在监管方面，我们试图指出的是，对于这些由AI赋能或增强的健康应用，我们可能需要不同的、额外的监督。例如，要求应用提供商解释他们在为边缘案例和因对应用的情感依附而产生的风险做些什么准备。
此外，要求应用提供商证明任何拟人化的使用都是合理的，以及这样做所带来的好处是否超过风险——因为我们知道，当你将机器人拟人化时，人们更容易建立这些依附关系。
最后，在论文中我们指出了我们所看到的这些做法可能已经落入现有监管者的权限之内，例如与FTC的欺骗性做法的联系，以及与欧盟《人工智能法案》中利用易受伤害人群的潜意识、操控性或欺骗性技术的联系。
(全文结束)
