几乎所有人都知道，人工智能淘金热已经来临。而在医疗保健领域，这场热潮来得尤其迅猛。这引出一个重要的推论：当心。
人工智能技术已经帮助放射科医生识别出人类肉眼容易忽略的图像异常。它在减轻医生后台文书工作方面也有明显优势——比如提交保险理赔和预约安排——这些工作本可花更多时间用于治疗患者。
但AI也被指控在手术期间向外科医生提供错误信息，使患者面临严重受伤风险；还因随意回复被用户当作严肃诊断而引发恐慌。
AI公司推广的商业化直接面向消费者的应用，如OpenAI的ChatGPT Health和Anthropic的Claude for Health（两者均于今年1月推出），引起了医学界人士的特殊担忧。因为这些应用面向的用户可能不了解它们倾向于输出错误信息或提供不当建议。
“最终，这些东西中的大部分都会很棒，但我们现在还没到那一步，”加州拉霍亚斯克里普斯研究所的心脏病专家埃里克·托波尔说。
“它们在没有充分锚定安全性、质量和一致性的情况下就推出来，这让我担心，”托波尔说，“它们需要更严格的测试。我的问题是，这些努力主要源于商业利益——竞争激烈，都想第一个推出面向患者的应用程序，即使它还没完全准备好。”
《华盛顿邮报》科技专栏作家杰弗里·A·福勒就经历了这一点。他将苹果手表收集的10年健康数据提供给ChatGPT，结果收到了关于心脏健康的可怕警告，以至于他去看心脏病医生，而医生告诉他他非常健康。福勒还咨询了托波尔，后者审查数据后发现Chatbot的警告“毫无根据”。Anthropic的聊天机器人也给福勒提供了一个托波尔认为可疑的健康评分。我请求OpenAI和Anthropic就这些批评以及他们过早发布消费者应用一事发表评论，但两家公司均未回应。
托波尔曾广泛撰写关于医学中先进技术的文章，他绝非AI怀疑论者。他称自己是AI乐观主义者，并引用多项研究表明人工智能可以帮助医生更有效地治疗患者，甚至改善他们的床边礼仪。但他警告说，“医疗保健不能容忍重大错误。我们必须尽量减少AI技术常见的错误、幻觉、虚构、胡扯和讨好行为。”
在医学领域，如同许多其他领域一样，AI似乎被过度宣传为一种节省劳动力的技术。根据近期发表在《柳叶刀》上的一项研究，向约100个英国医疗团体提供的AI听诊器，在某些（但非全部）心力衰竭迹象的识别上确实优于传统听诊器。但在12个月的研究期间，40%的团体放弃了这些新设备。主要抱怨是用户经历的“额外工作负担”——这表明无论新技术有何优点，它们所需的时间和精力都抵消了这些优点。
其他研究发现，AI可以增强医生的技能——前提是医生学会信任AI工具，并且这些工具用于相对简单、甚至常规的病症。最显著的益处出现在放射学领域；根据去年发表的一项荷兰研究，使用AI辅助解读乳腺X光片的放射科医生在发现癌症方面的表现与两名放射科医生合作一样好。这表明明智地使用AI可以释放一名放射科医生的时间。但在这种情况下，AI助手并非始终如一地表现出色。“AI会遗漏一些被人类评估召回发现的乳腺癌，”一位研究作者说，“但它同样能检测出一些被解读放射科医生遗漏的乳腺癌。”
AI对医疗保健的入侵甚至已成为某种文化标志：在HBO最新急诊室系列剧《The Pitt》中，不堪重负的急诊医生发现一个被强加给他们用作节省时间图表工具的AI应用“幻觉”出患者有阑尾炎病史，从而危及患者治疗。“生成式AI并不完美，”该应用的赞助商回应说，“我们仍然需要校对其创建的每一张图表”——从而准确地承认AI可能增加而非减轻用户的工作量。
机器人进行外科手术或做出准确诊断的未来仍然是科幻小说的内容。在医学领域，如同在其他领域一样，AI已被证明可用于接管人类可自动化的任务，但在需要人类独创性、创造力或精确性的情况下则不行。而使用AI相关算法进行医疗保健判断的尝试已经在法庭上受到挑战。
在2023年明尼苏达联邦法院提起的一起集体诉讼中，五名医疗保险患者和三名其他患者的幸存者指控美国最大的医疗保险公司UnitedHealth Group依赖AI算法拒绝为他们的护理提供保险，“基于误差率达90%的AI模型，推翻了他们的主治医生关于医疗必要护理的决定”。该案仍在审理中。UnitedHealth在辩护中声称，批准或拒绝保险的决定完全由其雇用的医生和其他临床专业人员掌握，他们对保险和护理的决定符合医疗保险标准。原告引用的AI算法，UnitedHealth表示，并非用于“拒绝会员护理或做出不利的医疗必要性保险决定”，而是帮助医生和患者“预测和规划未来的护理需求”。该公司没有回应原告关于算法错误率的说法。“我们不应该对AI工具的错误感到自满，”托波尔告诉我。但人们不禁怀疑AI健康应用推广者是否接受了这一信息。
根据斯坦福大学和加州大学伯克利分校研究人员的一项调查，警告AI回复“未经专业审核，不可替代医疗建议”的免责声明几乎已从AI平台消失。研究人员警告说，随着聊天机器人语言变得更加复杂和流畅，这一问题变得更加紧迫，因为这会激发用户对其结论的过度自信。“用户可能会将AI生成的内容误解为专家指导，”他们写道，“可能导致延误治疗、不当的自我护理或对未经验证的信息产生错误信任。”
通常，州法律要求医疗诊断和临床决策必须基于持照医生进行的身体检查以及患者病史和家族史的全面评估。它们并不排除医生使用AI帮助制定诊断或治疗计划，但医生必须保持控制权。美国食品药品监督管理局免除医疗器械的政府许可，如果它们“通常用于患者教育，并且……不用于诊断疾病或其他状况”。这可能适用于AI机器人，前提是它们不发布诊断。
但这可能无助于那些自愿将自己的病史和检查结果上传至AI机器人、却不了解相关担忧的用户——包括他们的信息是否会保密，或在保险决策中被用来对他们不利。他们上传数据的缺口可能影响从机器人那里收到的建议。而且由于机器人只知道它们被喂入的内容，它们的医疗保健输出可能反映基础数据中的文化偏见，例如疾病发病率和治疗中的种族差异。“如果你的所有数据都有一个错误，你可能会陷入相当严重的焦虑发作，”托波尔说。“患者应该核实，而不仅仅相信”他们从机器人那里听到的内容。
托波尔警告说，误导性AI信息的负面影响不仅可能落在患者身上，还可能落在整个AI领域。“公众实际上无法区分个别机器人，”他告诉我，“我们只需要一些关于误诊或危险建议的恐怖故事，那么整个领域就会被抹黑。”在他看来，这将限制那些在许多方面可以提高医疗实践有效性技术的潜力。补救方法是让AI应用经历与“药物、设备、诊断”相同的临床标准。“我们不能因为它有些新、有些不同、具有某种广泛吸引力就降低门槛。”
迈克尔·希尔兹克是《洛杉矶时报》的专栏作家。
【全文结束】