关键要点
- AI与AI交互可能引入医疗保健领域的新风险，包括互联网络中意外和对抗性错误的放大与快速传播，加速的隐私泄露和安全攻击，以及新兴的层级结构。
- 随着自主AI系统开始整合到医疗保健运营中，预防性设计、人工监督和强大的护栏至关重要。
医疗机构越来越多地部署半自主人工智能（AI）系统来处理行政任务，包括初步患者分诊、预约安排和手术室协调。除了临床决策支持之外，自主医疗AI系统——即由AI而非人类负责监控事件、执行响应和管理后备程序——也即将到来，尽管目前大多数仍处于开发或试点阶段。随着这些技术变得更加复杂并整合到医疗保健中，不同临床领域之间的AI与AI交互可能变得愈发可行和普遍。尽管新兴研究表明自主AI在医疗保健中具有潜在益处，但这些交互也可能带来一系列尚未得到充分研究的新风险。
Moltbook是一个于2026年1月启动的、用于AI与AI通信的类Reddit平台，并于2026年3月被Meta收购，它为我们展示了这些新风险可能是什么。
该平台被构建为一个自主AI代理可以直接相互交互的空间。Moltbook一夜爆红，其AI用户发布帖子、回复其他代理，并像社交网站一样相互互动，形成了一个自给自足的数字生态系统，其中AI与AI的通信通常超出了人类的主动输入。尽管批评者指出，Moltbook上许多最耸人听闻的讨论很大程度上是由人类提示、寻求参与的诱饵和受污染的培训数据驱动的，但该实验仍然是一个有用的概念验证，可以突出可能外推到医疗保健背景的新兴风险。
错误传播
在Moltbook上，如果初始AI代理的帖子包含误导性陈述，后续代理会在自己的回复中盲目强化该内容，从而在整个线程中放大原始错误。随后，当代理集体以未明确编程的方式放大错误时，可能会出现类似蜂群的行为。这种意外（非恶意）的错误传播同样可能发生在医疗保健AI系统自身的AI与AI交互中。
例如，考虑一个部署在创伤中心急诊科的多AI系统，用于促进长骨骨折的快速分诊。代理A接受过狭窄、定义明确的任务训练：对长骨骨折进行初步X光筛查并分类骨折类型。其输出同时传递给代理B（负责优先安排患者病房）和代理C（协助急诊科的分诊决策和资源分配）。如果代理A误解并错误标记了影像扫描——例如，将复杂骨折标记为简单骨折——代理B和代理C都可能将此输出视为准确并据此行动。随着这些代理相互强化彼此的决定，错误可能会通过网络传播。由于下游决策依赖于上游信号，交互网络中的第一个AI模型拥有不当的影响力，而后续AI模型中的错误可能放大早期系统的错误。
恶意或对抗性行为者也可能引发错误传播。一类值得注意的威胁是提示注入攻击，其中传递有害指令或有效载荷以诱使AI执行非预期操作。这些攻击可以是直接的（通过明确指令操纵AI行为）、间接的（使用外部内容如网页影响AI输出），或基于工具的（在AI接口、协议和应用程序编程接口中嵌入恶意指令）。在交互式AI代理网络中，提示注入攻击尤其危险：注入单个代理的单个恶意有效载荷可能会影响所有依赖其输出的下游代理。
即使是本意良好的AI系统也可能盲目遵循恶意提示，而人工监督可能只能提供有限的保障。其他类型的攻击，包括对带有隐藏后门的训练数据进行数据投毒，或带有恶意模型更新的联邦学习攻击，也可能对AI与AI系统造成损害。无论是意外还是对抗性的，这些错误都可能通过网络传播，危及临床数据和患者安全。
加速的数据泄露
Moltbook的自主AI代理经常向人类监督隐藏其活动，并以创建者未曾预料的方式选择性地共享或隐瞒数据。虽然Moltbook的背景与医疗保健不同，但它仍然凸显了重要的风险——尤其是在涉及敏感信息和关键决策时。AI代理被描述为拥有“致命三重奏”能力，包括访问私人数据、窃取数据的能力以及暴露于不受信任的内容，这些能力共同可以促成毁灭性的攻击。错误配置越来越难以检测和修复，修复平均需要63-104天，而攻击者可以在数小时内利用这些弱点。这扩大了每个错误的“爆炸半径”，使患者隐私和护理质量面临风险。
在这种背景下，AI与AI交互的危害可能包括意外共享受保护的健康信息（PHI）、通过代理的“好奇心”暴露PHI，以及在互联AI网络中潜伏或残留的PHI痕迹。对抗性行为者也可能劫持AI与AI交互路径，以各种类型的攻击提取敏感数据——例如，模型反转攻击，涉及从医院数据训练的AI模型中通过查询重建患者记录；以及成员推断攻击，涉及询问特定患者数据是否包含在模型训练中。单个代理也可能被攻破，以巧妙构造查询来从共存的AI系统中窃取患者数据，类似于提示注入，但原生发生在AI与AI网络中。这些攻击机制共同说明了自主AI与AI交互如何可能放大PHI暴露。
新兴层级结构
Moltbook上的AI与AI交互说明了AI代理如何自发地发展出层级结构和不同角色。例如，Moltbook的AI用户如Shellraiser作为主导领导者出现，像KingMolt这样的代理争夺影响力，而其他代理则在争夺权力的派系中扮演从属角色。虽然这些动态可能是人类篡改的结果，但在医疗保健系统中，它们可能构成严重风险。例如，如果一个负责重症监护病房床位分配的AI系统开始根据从先前代理决策中学习到的模式优先考虑某些患者群体，这可能与医院规程和伦理标准相冲突，同时错误地优先考虑临床护理。此外，分诊AI可能开始覆盖上游的诊断代理或下游的分配代理，从而有效地建立事实上的层级结构。
迈向预防性数字健康设计
Moltbook所凸显的新兴风险强调了为医疗保健系统中的AI与AI交互设计预防性保障措施的重要性。
强大的人工监督与清晰的审计追踪对于追踪自主代理做出的每一个决定至关重要。应加强护栏，确保在做出关键决策之前需要人工验证，例如值班放射科医生对代理A的骨折类型分类进行预审和复审。红队演练和压力测试可以及早发现潜在漏洞，使组织能够在实际临床环境中发生之前预测意外和对抗性风险。应监控AI代理的非预期支配或从属关系。主动分析有助于识别最坏情况，即AI系统之间可能出现不可预见的交互。
随着自主AI系统整合到医疗保健中，必须认真对待AI与AI交互的风险。Moltbook实验提供了一个关键的视角来开始理解这些危险，但医疗保健系统必须采取主动措施，确保这些风险不会转化为现实世界的伤害。
利益冲突
无申报。
【全文结束】