准备癌症患者面对艰难的决定是肿瘤学家的工作。然而，他们并不总是记得去做这件事。在宾夕法尼亚大学卫生系统，医生们被一种预测死亡率的人工智能算法提醒，与患者讨论治疗方案和临终愿望。但这个工具远不是设置一次就万事大吉的。一项2022年的研究显示，在新冠疫情期间，该算法的表现恶化，预测死亡率的能力下降了7个百分点。
这可能产生了现实影响。埃默里大学肿瘤学家拉维·帕里克（Ravi Parikh）是该研究的主要作者，他告诉KFF Health News，该工具多次未能提示医生进行重要的讨论——可能阻止了不必要的化疗——与那些需要它的患者。
帕里克认为，不仅仅是宾夕法尼亚医学的算法，许多旨在增强医疗服务的算法在疫情期间都变弱了。“许多机构并没有常规监测其产品的性能。”他说。
算法故障是计算机科学家和医生长期以来承认的一个难题，但现在开始让医院高管和研究人员感到困惑：人工智能系统需要持续的监控和人员配置来确保它们能正常工作。实际上：你需要更多的人和机器来确保新工具不会出错。
“每个人都认为AI会帮助我们改善访问和容量，提高护理质量等等，”斯坦福医疗保健首席数据科学家尼加姆·沙阿（Nigam Shah）说，“所有这些都是不错的事情，但如果它使护理成本增加了20%，这是否可行？”
政府官员担心医院缺乏资源来验证这些技术。FDA专员罗伯特·卡利夫（Robert Califf）在一个最近的关于AI的机构小组会议上说：“我到处寻找，我不相信在美国有任何一个医疗系统能够在临床护理系统中验证一个AI算法。”
AI已经在医疗保健中广泛使用。算法用于预测患者的死亡或恶化风险，建议诊断或分诊患者，记录和总结访问以节省医生的工作，以及批准保险索赔。如果技术爱好者是对的，这项技术将成为无处不在并且有利可图。投资公司Bessemer Venture Partners已经确定了大约20家专注于医疗的AI初创公司，每家预计每年收入将达到1000万美元。FDA已经批准了近一千种人工智能产品。
评估这些产品是否有效具有挑战性。评估它们是否继续有效——或者是否出现了软件等同于爆缸或漏油的问题——更加棘手。
例如，耶鲁医学最近的一项研究评估了六个“早期预警系统”，这些系统会在患者可能迅速恶化时提醒临床医生。芝加哥大学医生达纳·埃德尔斯顿（Dana Edelson）说，超级计算机运行了几天的数据，这个过程显示了六个产品之间的巨大性能差异。
对于医院和提供者来说，选择最适合其需求的最佳算法并不容易。普通医生身边没有超级计算机，也没有针对AI的《消费者报告》。
“我们没有任何标准，”美国医学会前任主席杰西·埃伦费尔德（Jesse Ehrenfeld）说，“今天我没有可以指向你的任何东西，可以作为评估、监控或查看部署后模型或算法性能的标准。”
也许医生办公室中最常见的AI产品被称为环境记录，这是一种技术辅助助手，它可以听取并总结患者的访问。去年，Rock Health的投资者追踪到有3.53亿美元流入这些记录公司。但埃伦费尔德说，“目前没有标准来比较这些工具的输出。”
当即使是小错误也可能造成灾难时，这是一个问题。斯坦福大学的一个团队尝试使用大型语言模型——如ChatGPT等流行AI工具背后的技术——来总结患者的病史。他们将结果与医生的书写进行了比较。
“即使在最好的情况下，模型的错误率也达到了35%”，斯坦福大学的沙阿说。在医学中，“当你写总结时遗漏了一个词，比如‘发烧’——这确实是个问题，对吧？”
有时，算法失败的原因相当合理。例如，基础数据的变化可能会削弱其有效性，就像当医院更换实验室提供商时一样。然而，有时陷阱却毫无缘由地出现。
麻省总医院布里格姆个性化医学项目的技术主管桑迪·阿伦森（Sandy Aronson）说，当他的团队测试一个应用程序，旨在帮助遗传咨询师查找有关DNA变异的相关文献时，该产品出现了“非确定性”——即在短时间内多次问同一个问题，得到不同的结果。
阿伦森对大型语言模型为负担过重的遗传咨询师总结知识的潜力感到兴奋，但他表示“技术需要改进”。
如果度量标准和规范很少，错误又可能以奇怪的原因出现，那么机构该怎么办？投入大量资源。在斯坦福大学，沙阿说，审计两个模型的公平性和可靠性花费了8到10个月的时间和115个人工小时。
接受采访的KFF Health News专家提出了用人工智能监控人工智能的想法，由一些（人类）数据专家同时监控两者。所有人都承认，这将要求组织花费更多的钱——考虑到医院预算的现实和AI技术专家的有限供应，这是一个艰难的要求。
“拥有一个愿景，即我们融化冰山以监控模型，这是很棒的，”沙阿说，“但这真的是我想要的吗？我们还需要多少人？”
(全文结束)
