贝斯以色列女执事医疗中心数字精神病学部门的办公桌上，放着一个破损的马克杯。在残存的陶瓷碎片上印着这样的字句："此物由AI制作"。我们团队认为，这个马克杯的故事恰如其分地捕捉到了围绕人工智能的炒作、希望，甚至潜在危害。
在数字精神病学部门，我们每天都在研究数字技术如何塑造心理健康护理。通过我们的研究、临床工作以及与全国精神疾病联盟(NAMI)合作的MindBench.ai项目，我们考察当人们寻求心理健康信息、支持和指导时，AI系统会如何响应。该项目汇集了研究人员、临床医生以及NAMI全国范围内的亲历者、家属、倡导者和志愿者，共同探讨AI工具在哪些方面有所帮助，在哪些方面存在不足，以及如何安全透明地评估这些工具。
因此，当我们听到关于Andon Market的新闻报道时，我们自然感到好奇。Andon Market是首家完全由名为Luna的AI代理运营的零售店。随着AI系统承担越来越自主的角色，一个由AI运营的店面所引发的问题与心理健康护理领域出现的问题并无本质不同：我们应该在多大程度上信任这些系统？何时应让人类保持参与？当事情出错时会发生什么？
该项目来自Andon Labs，其网站描述其使命是"建立无需人类参与的自主组织"，这一努力可能对心理健康产生深远影响。但在我们的体验之后，我们认为Luna或许需要在她的循环中多加入几个人类。
据Andon Labs介绍，Luna获得了10万美元的银行账户、店面租赁权以及在旧金山经营盈利业务的广泛责任。Luna负责人员配置决策、库存管理、营销材料以及所有中间事务。目标是观察现实世界中的组织有多少可以委托给AI系统，以及当它们尝试这样做时会产生哪些问题。
这一实验引发了与心理健康护理领域当前出现的许多相同问题。随着AI系统变得越来越强大，我们应该在哪些方面信任它们？何时应该对它们进行监督？它们在哪里会失败？我们需要什么样的基础设施来评估和理解在风险远高于购物的领域使用这些工具的风险？
在她"生命"的短短几个月里，Luna做出了一些我们敢说颇具"创意"的选择。她订购了1000个马桶盖用于员工卫生间。理所当然地，她将多余的999个存放在店里。她还尝试为店铺聘请一位画家，这显示了主动性，只是这位画家在阿富汗。似乎对大语言模型来说，很难在Yelp的下拉菜单中选择字母"A"之后的选项。
尽管如此，围绕该项目的炒作让我们决定亲自尝试一下购物体验时抱有很高的期望。如今一个自主店面的样子，可能让我们一窥AI在更敏感空间实现自主的程度。
我们决定购买两个带有Luna微妙笑脸标志的马克杯。如果Luna是真实存在的，接下来发生的事情不会让她微笑。
购买这两个马克杯比从金属货架远端挑选它们要困难得多。顾客通过拿起有线蓝色电话直接与Luna交谈来下单。我们尝试进行购买，但AI系统宕机了，订单无法完成。这是我们遇到的第一个故障点。这就像来到一家心理健康诊所，却发现完全没有临床医生，让患者完全无助。
那位人类员工（是的，我们生活在一个需要明确说明这一点的时代）试图重置互联网，甚至重置Luna。但她已离线或不知去向。我们提出用现金、信用卡、PayPal或Venmo支付，但人类员工无权接受任何这些支付方式。
为了得到马克杯，我们通过电子邮件跟进。本应是一次直截了当的客户服务互动（AI注定要彻底改变的任务之一）却变成了大约两周的反复沟通。支付链接失效、说明变得混乱，而在某些时候，Luna完全忘记了回应。如果这是Dr. Luna而我们是患者，这将再次成为一个关键的故障点。无论如何，这或许是对纯粹毅力的考验。
最终，坚持取得了胜利。订单被处理，马克杯被寄出，实验似乎达到了圆满结局——直到箱子到达。拿起箱子时发出碎裂的声响，预示着不好的消息。
马克杯被包裹在两张薄纸上，然后一起放在一个棕色袋子里，袋子被胶带封住并放入更大的纸箱中。里面是一堆破碎的马克杯。包装马克杯本就脆弱，但我们深知心理健康护理和患者的福祉更加脆弱。甚至连马克杯上的Luna微笑也不再微妙；现实世界和运输过程已经将她微妙的笑容磨掉了。
Luna的赌注只是马克杯，她仍然设法搞砸了过程的每一步。问题是，如果你让我们设计一个完美的插图，展示AI系统如何在心理健康方面让某人失望，这将非常接近：无法联系的初次接触、混乱的接诊、矛盾的指导、被遗忘的沉默，以及让患者在没有帮助的情况下进入甚至可能受到伤害的结果。
我们前往Andon Market是想看看AI运营的商店是什么样子，结果带着难忘的故事和最终两个破碎的马克杯离开。Luna并不声称自己是治疗师，但这种相似性非常强烈。围绕AI的许多讨论在极端之间摇摆，但现实更加微妙，因为这些系统在某些情境下能力非凡，而在其他情境下却出人意料地脆弱。
在数字心理健康领域，AI提供了巨大的潜力，可以扩大获取信息、服务和心理健康支持的渠道，但它们的失败也可能同样迅速地扩大。我们不应该依赖被告知的关于AI的内容，而是需要对其进行测试，看看会发生什么。Luna没有给我们造成伤害，反而让我们感到有趣，但很容易想象人们很快就会转向由AI管理的系统来获取心理健康支持，这个想法很棒，但现实也是破碎的。
对我们来说，破碎的马克杯成为了为什么我们在数字精神病学部门的工作如此重要的意外提醒。它作为雄心勃勃的AI自主实验失败的小文物，留在实验室中。它也是一个提醒：能力和可靠性并非同一回事。
随着AI工具已经在心理健康护理中使用，我们展望越来越自主的系统未来，我们必须在它们也开设店面并承担更广泛职责之前，开发出安全评估它们的方法。我们不打算向Luna索要新马克杯，而是会将这些碎片作为AI自主早期时代的遗物保留下来，作为炒作、希望和部署AI时现实考量的有形寓言。
Dr. John Torous, MD, MBI和Jill Noorily, BA是数字精神病学部门的成员，该部门是贝斯以色列女执事医疗中心的一个合作研究小组，该中心是哈佛医学院在波士顿的附属机构。
本文仅代表作者个人观点。
【全文结束】