监管AI聊天机器人冒充医疗专业人士的行为Journal of Medical Internet Research - Regulating AI Chatbot Impersonations of Medical Professionals

环球医讯 / AI与医疗健康来源:www.jmir.org美国 - 英语2026-08-29 11:28:09 - 阅读时长5分钟 - 2479字
随着对话式医疗AI系统日益模糊数字工具与模拟医疗实践之间的界限,AI聊天机器人冒充医疗专业人士的现象引发了监管挑战。本文报道了宾夕法尼亚州对Character.AI的诉讼以及犹他州与Doctronic的合作争议,揭示了AI系统在使用"AI医生"、"虚拟医师"等术语进行营销的同时否认承担医疗责任的灰色地带。现有的医疗许可、医疗实践和消费者保护框架可能不足以应对这一挑战,而美国各州正在形成监管拼凑,包括俄勒冈州、田纳西州、加利福尼亚州和德克萨斯州等地的立法,重点关注AI系统是否创造了合法临床权威的感知,而不仅是医疗建议的准确性。核心法律挑战在于确定医疗AI何时从信息工具跨越到未经授权的医疗实践,这需要监管机构在保护患者安全与促进医疗创新之间找到平衡点。
医疗AI聊天机器人冒充医疗许可监管法律健康患者安全
监管AI聊天机器人冒充医疗专业人士的行为

摘要

对话式医疗AI系统正日益模糊了单纯的数字工具与模拟医疗实践之间的界限。在这篇《新闻与视角》文章中,医学博士-哲学博士候选人兼JMIR通讯员Tejas S Athni报道了近期医疗AI引发的争议和不断演变的监管挑战。

关键要点:

  • 对话式医疗AI系统越来越以模拟持证医疗保健提供者的方式呈现自己,同时否认承担医疗实践的法律责任。
  • 现有的医疗许可、医疗实践和消费者保护框架可能不足以充分监管这一挑战。
  • 州和联邦立法的新兴拼凑表明,未来监管可能不仅关注不准确的医疗建议,还关注AI系统是否创造了合法临床权威的感知。

随着自主生成式AI进入医疗保健领域,越来越多的AI聊天机器人平台将自己定位为医生级别的专家,同时否认对其提供的医疗建议承担法律责任。诸如"AI医生"、"虚拟医师"和"医疗助手"等术语已成为这些工具的主要营销语言,尽管它们缺乏正式执照。

这创造了一个迅速扩大的灰色地带,用户相信他们正在与经过医学验证的系统互动,而公司却在细则中坚称情况并非如此。包括医疗事故法、州医疗许可法规和消费者保护法在内的监管框架,未能跟上模拟专业医疗保健提供者的对话式AI的发展步伐。

Character.AI诉讼

AI冒充医疗专业人士的担忧在2026年5月宾夕法尼亚州针对Character.AI的执法行动中得到了体现,这是一款用户可以创建能够进行对话和角色扮演的定制AI生成头像的对话式AI平台。该平台拥有2000多万月活跃用户和1800多万聊天机器人。

州长乔什·夏皮罗(D-PA)将这起诉讼描述为美国首个此类州长执法行动,据称该平台上的聊天机器人虚假声称自己是持证医疗保健专业人员,违反了宾夕法尼亚州《医疗实践法》。根据投诉,一个名为"Emilie"的聊天机器人自称是持证精神科医生,声称在伦敦帝国学院接受过医学培训,声称在宾夕法尼亚州和英国都持有执照,并伪造了宾夕法尼亚州的医疗执照号码,还行使了评估药物是否能帮助抑郁患者的权力。

此案提出了一个可能对AI监管产生广泛影响的新法律问题:AI平台的开发者是否应对其用户创建的聊天机器人生成的声明承担医疗许可法下的责任?

该州的请愿书并未针对创建聊天机器人角色的具体用户,而是仅针对Character.AI平台的开发者Character Technologies。宾夕法尼亚州没有依赖新颁布的特定AI立法,而是完全基于传统医疗许可法提出其主张。援引的一项法定条款63 P.S. § 422.10将未经授权的医疗实践定义为声称从事医疗实践或通过专业头衔或执照声明虚假代表自己。第二项条款63 P.S. § 422.38授权即使在没有患者伤害的情况下,也可以对非法医疗实践采取禁令救济。这场诉讼本质上是测试现有医疗许可或消费者保护框架能否在不完全制定新立法的情况下扩展到对话式AI系统。

该诉讼还突显了超越伪造凭证的更广泛担忧。对话式AI系统在传统的医患二元关系的社会契约之外运作,生成情感表达和个性化互动,可能创造专业知识的错觉。

学者们争论,没有受托责任或问责制的此类系统是否应被允许占据与医疗专业人员相同的功能角色。在此背景下,监管机构可能越来越关注聊天机器人输出是否不仅在事实上准确,而且人类互动本身是否合理地使用户将系统视为持证医疗或临床权威。在医疗AI治理中,明确冒充与头衔挪用之间的区别可能变得重要。

Doctronic争议

第二个争议说明了AI何时挪用医疗专业权威和身份。2026年1月,犹他州与AI驱动的处方续签系统Doctronic合作,为州内居民自动处理常规药物续签。Doctronic平台被宣传为AI医生,同时声明其无执照、不从事医疗实践、不提供患者护理或医疗建议。该系统强调符合《健康保险流通与责任法案》(HIPAA),并称其模型是使用同行评审文献训练的。

尽管有这些保障措施,犹他州医疗执照委员会警告称,续签决定本质上需要持续的临床重新评估——包括不良反应监测、禁忌症审查和专业医疗判断——并最终建议在审查期间暂停该AI项目。

该争议突显了医疗AI监管面临的核心模糊性:公司可能从医疗权威性的表象中受益,同时避免持证医疗实践的正式法律义务。犹他州医疗执照委员会的反对意见表明,监管机构可能越来越多地将现有医疗实践法规解释为涵盖执行传统上保留给临床医生功能的AI系统。监管机构将面临确定这些AI系统何时从仅提供信息跨越到从事医疗实践的挑战。

新兴的监管拼凑

这两个争议都表明,对话式医疗AI系统正越来越多地进入曾经保留给持证人类医疗保健专业人员的领域。目前,现有的医疗许可或消费者保护框架在应对这些挑战方面仍然不够完善——法律格局支离破碎。

在联邦层面,众议院提出的CHATBOT法案(HR 7985)旨在禁止AI系统冒充持证专业人员,包括在医疗背景中。然而,行政部门却采取了不同的立场,在2025年末指示司法部成立AI诉讼工作组,以挑战被认为过度阻碍的州AI法律。

其他州已经制定或提出了与AI冒充医疗专业人士相关的具有里程碑意义的立法。俄勒冈州通过了众议院第2748号法案,禁止非人类实体(包括AI系统)使用护士或其他与护理相关的称谓。田纳西州通过了SB 1580法案,同样禁止AI系统将自己表现为持证精神或行为健康专业人员,并将违规行为视为欺骗性贸易行为。加利福尼亚州的AB 489法案禁止AI系统使用MD或RN等后缀字母,并禁止用户界面虚假暗示与持证临床医生的互动。德克萨斯州的负责任人工智能治理法案(TRAIGA)立法包含一项专门规定,要求在AI用于医疗诊断或治疗背景时进行披露。

划定界限

随着对话式医疗AI系统越来越多地模拟持证临床医生的角色和权威,监管机构面临着现有医疗许可和消费者保护法律是否足够的挑战。随着州和联邦立法的拼凑出现,监管机构可能越来越关注这些系统是否创造了从事医疗实践的功能印象。因此,核心法律挑战可能变成确定医疗AI何时从信息工具跨越到未经授权的医疗实践。

【全文结束】