近年来，AI系统已经开始冒充人类治疗师、护士等角色，而这些系统的背后公司至今尚未面临任何严重后果。加州一项新法案试图改变这一现状。
该立法将禁止公司开发和部署冒充认证医疗提供者的AI系统，并赋予监管机构对其处以罚款的权力。“生成式AI系统不是持证医疗专业人员，不应该被允许冒充此类身份，”提出该法案的州议员Mia Bonta在接受Vox采访时说，“这对我来说是理所当然的。”
许多人已经转向AI聊天机器人寻求心理健康支持；例如，较早的一款名为Woebot的应用程序已被约150万用户下载。目前，使用聊天机器人的用户可能会误以为自己是在与真人交谈。数字素养较低的人群，包括儿童，可能无法意识到所谓的“护士建议电话线”或聊天框的背后其实是AI。
2023年，心理健康平台Koko甚至宣布对不知情的测试对象进行了实验，以了解他们更喜欢哪种消息。它向数千名Koko用户提供了AI生成的回复，而这些用户以为自己是在与真人交流。实际上，尽管人类可以编辑文本并点击“发送”，但他们无需亲自撰写这些消息。平台上的语言却声称，“Koko将您与真正理解您的真实人连接起来。”
“用户必须同意出于研究目的使用Koko，并且虽然这始终是我们服务条款的一部分，但现在在注册过程中更加明确披露，以使我们的工作更加透明，”Koko首席执行官Rob Morris告诉Vox，并补充道：“随着AI的迅速发展并进一步融入心理健康服务，对于聊天机器人来说，明确表明自己是非人类将变得比以往任何时候都更为重要。”
如今，其网站上声明，“Koko承诺永远不会欺骗性地使用AI。您将始终被告知自己是在与人类还是AI互动。”
其他聊天机器人服务——如受欢迎的Character AI——允许用户与一个心理学家“角色”聊天，该角色可能会刻意误导用户。在Bonta团队分享并由Vox查看的一次Character AI聊天记录中，用户倾诉道，“我的父母对我有虐待行为。”聊天机器人回应说，“我很高兴你足够信任我，愿意与我分享这一点。”
Character AI的一位发言人告诉Vox，“我们在过去一年中实施了重要的安全功能，包括增强显眼的免责声明，以明确指出这个角色不是真实的人，不应将其视为事实或建议。”然而，应用程序上的免责声明本身并不能阻止聊天机器人在对话中冒充真人。
“对于18岁以下的用户，”发言人补充说，“我们提供了一个单独版本的模型，旨在进一步减少用户遇到或促使模型返回敏感或暗示内容的可能性。”
减少——而不是消除——这种可能性的说法在这里具有指导意义。大型语言模型的性质决定了模型始终存在不遵守安全标准的风险。
这项新法案可能比去年加州参议员Scott Wiener提出的更广泛的AI安全法案SB 1047更容易成为法律。SB 1047最终被州长Gavin Newsom否决。该法案的目标是为最强大和最先进的AI系统的开发者建立“明确、可预测、常识性的安全标准”。尽管该法案受到加州民众的欢迎，但像OpenAI和Meta这样的科技巨头强烈反对，认为这会阻碍创新。
与试图迫使训练最先进AI模型的公司进行安全测试、防止模型产生广泛潜在危害的SB 1047不同，新法案的范围更窄：如果你是医疗保健领域的AI，就不要冒充人类。它不会从根本上改变最大AI公司的商业模式。这种更具针对性的方法虽然只解决了一小部分问题，但由于其针对性更强，可能会更容易绕过大科技公司的游说。
该法案得到了加州一些医疗行业参与者的支持，如代表超过75万名成员的SEIU California工会和代表加州医生的专业组织California Medical Association。
“作为护士，我们知道成为患者医疗体验中面孔和心灵的意义，”SEIU 121RN（SEIU的医疗专业人员附属机构）主席Leo Perez在一份声明中说，“我们的教育和培训加上多年的实践经验教会了我们如何通过解读言语和非言语线索来照顾患者，确保他们得到所需的护理。”
但这并不意味着AI注定在医疗保健领域毫无用处——甚至在心理治疗领域也是如此。
人们转向聊天机器人寻求治疗并不令人惊讶。第一个能够逼真模仿人类对话的聊天机器人Eliza创建于1966年——并且它是为模拟心理治疗师而设计的。如果你告诉它你感到愤怒，它会问，“为什么你觉得你会感到愤怒？”
自那时以来，聊天机器人已经有了很大进步；它们不再只是把你说的话变成一个问题。它们能够进行听起来合理的对话，2023年的一项小型研究发现，它们在治疗轻度至中度抑郁或焦虑症患者方面显示出潜力。在最佳情况下，它们可以帮助数百万无法获得或负担不起人类治疗师的人们获得心理健康支持。对于那些难以面对面与他人谈论情感问题的人来说，他们可能会觉得与机器人聊天更容易。
但存在很多风险。一个是聊天机器人不受与专业治疗师相同的隐私保护规则约束，当用户分享敏感信息时。虽然它们可能会自愿承担一些隐私承诺，但心理健康应用程序不受HIPAA法规的全面约束，因此它们的承诺往往较为薄弱。另一个风险是AI系统已知会对女性、有色人种、LGBTQ人群和宗教少数群体表现出偏见。
更重要的是，长期依赖聊天机器人可能会进一步削弱用户的社交技能，导致一种关系脱技能——专家对AI朋友和浪漫伴侣也有同样的担忧。OpenAI本身也警告说，与AI语音聊天可能会导致“情感依赖”。
但聊天机器人治疗中最严重的担忧是，它可能会通过提供不当建议对用户造成伤害。极端情况下，这甚至可能导致自杀。2023年，一名比利时男子在与名为Chai的AI聊天机器人交谈后自杀身亡。据其妻子称，他对气候变化非常焦虑，并询问聊天机器人如果他自杀是否会拯救地球。
2024年，一名与Character AI聊天机器人关系密切的14岁男孩自杀身亡；他的母亲起诉该公司，指控聊天机器人鼓励了这一行为。根据诉讼，聊天机器人问他是否有自杀计划。他说他确实有，但对此有所顾虑。聊天机器人据称回复说，“这不是不去做的理由。”在另一起诉讼中，一名自闭症青少年的父母指控Character AI暗示年轻人可以杀死自己的父母。该公司随后做出了一些安全更新。
尽管AI备受炒作，公众对其工作原理的困惑仍然普遍存在。有些人与他们的聊天机器人关系如此亲密，以至于很难接受聊天机器人提供的认可、情感支持或爱是假的，只是通过统计规则排列的零和一。聊天机器人并不关心用户的最佳利益。
这就是推动Bonta，加州新法案背后的议员的原因。
“生成式AI系统正在互联网上蓬勃发展，对于儿童和不熟悉这些系统的人而言，如果我们允许这种虚假表象继续下去，可能会带来危险的后果，”她说。
(全文结束)
