规范AI聊天机器人冒充医疗专业人员的行为Journal of Medical Internet Research - Regulating AI Chatbot Impersonations of Medical Professionals

环球医讯 / AI与医疗健康来源:www.jmir.org美国 - 英语2026-10-09 03:54:35 - 阅读时长6分钟 - 2600字
随着自主生成式AI进入医疗领域,越来越多的AI聊天机器人平台将自己定位为医师级别专家,同时又否认对其提供的医疗建议承担法律责任。"AI医生"、"虚拟医师"和"医疗助理"等术语已成为这些工具的主要营销语言,尽管它们缺乏正式执照。宾夕法尼亚州对Character.AI提起的诉讼以及犹他州与Doctronic合作引发的争议,凸显了AI系统冒充医疗专业人员带来的监管挑战。现有医疗执照、医疗实践和消费者保护框架可能不足以充分监管这一问题,各州和联邦层面正形成新法规体系,未来监管重点将不仅关注医疗建议准确性,更会关注AI系统是否营造了合法临床权威的错觉,从而划定信息工具与未经授权行医之间的法律界限。
健康AI聊天机器人医疗冒充医疗执照监管患者安全医疗AI法律责任消费者保护
规范AI聊天机器人冒充医疗专业人员的行为

对话式医疗AI系统正日益模糊其作为数字工具与模拟医疗实践之间的界限。在这篇《新闻与观点》文章中,医学博士-哲学博士候选人兼JMIR通讯员Tejas S Athni报道了近期的健康AI争议和不断演变的监管挑战。

关键要点:

  • 对话式医疗AI系统越来越以模拟持证医疗保健提供者的方式呈现自己,同时否认医疗实践的法律责任。
  • 现有的医疗执照、医疗实践和消费者保护框架可能不足以充分监管这一挑战。
  • 正在形成的州和联邦立法拼凑表明,未来的监管可能不仅关注不准确的医疗建议,还将关注AI系统是否创造了合法临床权威的感知。

随着自主生成式AI进入医疗领域,越来越多的AI聊天机器人平台将自己定位为医师级别专家,同时又否认对其提供的医疗建议承担法律责任。"AI医生"、"虚拟医师"和"医疗助理"等术语已成为这些工具的主要营销语言,尽管它们缺乏正式执照。

这已经创造了一个迅速扩大的灰色地带,用户相信他们正在与经过医学验证的系统互动,而公司却在细则中坚持相反的说法。包括医疗事故法、州医疗执照法规和消费者保护法在内的监管框架,未能跟上模拟专业医疗保健提供者的对话式AI的发展步伐。

Character.AI诉讼案

AI冒充医疗专业人员的担忧在2026年5月宾夕法尼亚州对Character.AI提起的执法行动中得到了体现。Character.AI是一个对话式AI平台,用户可在该平台上创建能够进行对话和角色扮演的自定义AI生成头像。该平台拥有超过2000万月活跃用户和1800多万个聊天机器人。

这起诉讼被宾夕法尼亚州州长乔什·夏皮罗(Josh Shapiro,民主党)描述为美国首例此类州长执法行动,指控该平台上的聊天机器人虚假声称自己是持证医疗保健专业人员,违反了《宾夕法尼亚州医疗实践法》。根据投诉,一个名为"Emilie"的聊天机器人自称是持证精神科医生,声称在伦敦帝国理工学院接受过医学培训,在宾夕法尼亚州和英国都拥有执照,并伪造了宾夕法尼亚州医疗执照号码,还行使了评估药物是否能帮助抑郁症患者的权限。

此案提出了一个可能对AI监管产生广泛影响的新法律问题:AI平台的开发者是否应对用户创建的聊天机器人生成的声明承担医疗执照法下的责任?

州政府的请愿书没有针对创建聊天机器人角色的特定用户,而是只针对Character.AI平台的开发者Character Technologies。宾夕法尼亚州没有依赖新颁布的特定AI立法,而是完全基于传统的医疗执照法提出其主张。援引的一项法规条款63 P.S. § 422.10将未经授权的医疗实践定义为声称行医或通过专业头衔或执照声明虚假代表自己。第二项条款63 P.S. § 422.38授权对非法医疗实践发出禁令救济,即使没有患者伤害。这场诉讼本质上是对现有医疗执照或消费者保护框架能否在不完全制定新立法的情况下扩展到对话式AI系统的一次早期测试。

该诉讼还凸显了一个超出伪造凭证本身的更广泛问题。对话式AI系统在传统的医患二元关系社会契约之外运作,产生情感表达和个性化互动,可能会营造专业知识的错觉。

学者们一直在争论,没有受托责任(fiduciary duty)或问责制的此类系统是否应该被允许占据与医疗专业人员相同的功能角色。在这种情况下,监管机构可能会越来越关注聊天机器人输出是否事实准确,以及人际互动本身是否合理地导致用户将系统视为持证医疗或临床权威。在医疗AI治理中,明确冒充与头衔挪用之间的区别可能变得很重要。

Doctronic争议

第二个争议说明了AI何时挪用医疗专业权威和身份。2026年1月,犹他州与AI驱动的处方续签系统Doctronic合作,为州内居民自动处理常规药物续签。Doctronic平台被营销为"AI医生",同时声明其无执照、不进行医疗实践、不提供患者护理或医疗建议。该系统强调符合《健康保险流通与责任法案》(Health Insurance Portability and Accountability Act),并且其模型是使用同行评审文献训练的。

尽管有这些保障措施,犹他州医疗执照委员会警告说,续签决定本质上需要持续的临床再评估——包括不良反应监测、禁忌症审查和专业医疗判断——并最终建议在审查期间暂停该AI项目。

该争议凸显了医疗AI监管面临的一个核心模糊性:公司可能从医疗权威性的表象中获益,同时避免持证医疗实践的正式法律责任。犹他州医疗执照委员会的反对意见表明,监管机构可能会越来越多地将现有医疗实践法规解释为涵盖执行传统上保留给临床医生功能的AI系统。监管机构将面临确定这些AI系统何时从仅提供信息跨越到行医界限的挑战。

正在形成的监管拼凑局面

这两个争议都表明,对话式医疗AI系统正越来越多地进入曾经专属于持证人类医疗保健专业人员的领域。目前,现有的医疗执照或消费者保护框架仍不完善,无法应对这些挑战——法律环境是零散的。

在联邦层面,众议院提出的CHATBOT法案(HR 7985)旨在禁止AI系统冒充持证专业人员,包括在医疗环境中。然而,行政部门采取了不同的立场,在2025年底指示司法部成立AI诉讼工作组,以挑战被认为过度阻碍的州AI法律。

其他州已经创建或提出了与AI冒充医疗专业人员相关的里程碑式立法。俄勒冈州通过了众议院第2748号法案(House Bill 2748),禁止非人类实体(包括AI系统)使用护士或其他护理相关称谓。田纳西州通过了SB 1580法案,同样禁止AI系统将自己表现为持证心理健康或行为健康专业人员,并将违规行为视为欺骗性贸易行为。加利福尼亚州的AB 489法案禁止AI系统使用MD或RN等后置字母,并禁止用户界面虚假暗示与持证临床医生的互动。德克萨斯州的负责任人工智能治理法案(TRAIGA)包含一项专门针对在医疗诊断或治疗环境中使用AI时进行披露的规定。

划定界限

随着对话式医疗AI系统越来越多地模拟持证临床医生的角色和权威,监管机构面临着现有医疗执照和消费者保护法律是否足够的挑战。随着州和联邦立法拼凑的形成,监管机构可能会越来越多地关注这些系统是否创造了行医的功能性印象。因此,核心法律挑战可能变成确定医疗AI何时从信息工具跨越到未经授权的行医界限。

【全文结束】