Angela Dong 和 Blair Bigham 是执业医师，也是多伦多大学达拉·拉纳公共卫生学院的记者。
在加拿大，无证行医是违法的。安大略省的《受监管健康专业法》将“受控行为”（如实施手术、开药和传达诊断）限定于持牌医疗专业人员，因为一旦出错，可能会对患者造成严重伤害。
然而，像 ChatGPT 和 Llama-3（Meta）这样的 AI 大型语言模型（LLM）如今正频繁地跨越界限，从提供健康信息转变为传达医疗诊断。
在当今的数字世界，获得医疗保健愈发困难，加拿大人越来越多地听从 LLM 的建议，而不是去诊所就诊，这些建议可能会将他们引入歧途。根据加拿大医学会的错误信息易感性指数，三分之一的加拿大人表示，他们曾遵循网络建议而非专业建议，同时近四分之一的加拿大人报告因遵循网络健康建议而产生了负面后果。
人工智能公司声称他们并未行医。ChatGPT Health（一个专门的健康 AI 聊天程序）声称其目的是“支持而非替代医疗护理”，并且“不用于诊断或治疗”。
但这些免责声明经不起推敲。安大略省的法规规定，当“可以合理预见”该人将依赖并依据该诊断行事时，即构成“传达诊断”。换句话说，是用户（而非科技公司）决定了是否传达了诊断。
这些风险并非假设。一项发表在《内科学年鉴：临床案例》中的案例显示，一名 60 岁男性向 ChatGPT 咨询如何减少盐摄入量。ChatGPT 建议他用溴化钠（一种化合物）替代氯化钠（食盐），结果导致其中毒，因溴化物中毒（一种如今罕见的疾病，因为食物中的溴化物已被大幅清除）住院三周。
认为该男子愚蠢或易受骗是不公平的。LLM 被设计成具有说服力。它们通过生成权威、个性化和富有同情心的文本，模拟理想的医患对话。另一方面，用户可能处于脆弱、恐惧且医学素养较低的状态。研究表明，无论是否附有免责声明，用户都会接受 AI 应用提供的医疗建议。
最近发表在《自然》杂志上的一项研究发现，ChatGPT 在 52% 的案例中低估了紧急情况的严重性，进一步证明了 AI 对我们健康构成的威胁。
多年来，基于 OpenAI 模型构建的 AI 聊天机器人一直以“医疗诊断助手”自居，ChatGPT 平台上的一款流行机器人甚至向用户承诺“提供基本诊断”。
今年一月，OpenAI 推出了 ChatGPT Health，声称每周有超过 2.3 亿人寻求健康相关建议。
LLM 的优化设计旨在让普通用户将对其健康问题的回答视为可靠的医疗建议。它们实质上是在一个不受监管、未经检查的数字生态系统中，在没有医疗执照的情况下执行受控行为。
这是违法的。在我们执业的安大略省，违法将面临高达 50,000 加元的罚款、监禁甚至严重袭击等刑事指控。然而，监管机构却未能介入，任由科技公司自由享受临床权威带来的好处，而无需承担因注意义务而产生的必要监督。
加拿大法院尚未就 LLM 公司是否可因实施通常由持牌医疗专业人员执行的受控行为而被追究责任设立里程碑式的判例。政策制定者希望鼓励 AI 投资。如果在缺乏严格责任的情况下发生伤害，受伤害的患者将不得不应对复杂的产品责任诉讼，而在这些诉讼中，证明疏忽、缺陷或因果关系将是一场艰苦的战斗。
法律案例正在涌现。不列颠哥伦比亚省的一个法庭裁定加拿大航空公司对通过其 AI 聊天机器人向消费者提供的错误信息负责，确立了一家公司不能逃避对 AI 输出的责任。
必须做出紧急选择，以保护加拿大人免受 AI 聊天机器人可能因误导人们而造成的伤害。监管机构可以设置护栏，限制聊天机器人对诊断和治疗发表意见，但这可能会使此类技术几乎无法使用。
我们更倾向于像追究医疗专业人员责任一样追究 LLM 的责任：通过牌照制度。售后审计、强制伤害报告、公众投诉程序和责任参数可以协同作用，以保障加拿大人的安全，并在 AI 出错时提供追求正义的途径。
AI 可能掌握着通往更健康未来的钥匙。但前提是它必须像每位医生一样行医——同时保持问责制。
编者注：本文已更新，更正了引用的 60 岁男性案例所涉期刊的标题。该案例是关于该男子向 ChatGPT 咨询如何减少盐摄入量。该期刊为《内科学年鉴：临床案例》。
【全文结束】