医疗系统正面临越来越大的压力，要求他们采用新的人工智能工具，但缺乏正式的评估体系来确定这些工具的效果。为什么这很重要： 即使是人工智能开发者也难以解释模型为何会做出特定的预测或建议。* 这在临床环境中具有重大影响，因为算法错误或偏差可能导致患者受到伤害。
新闻背景： 由超过3,000家医疗系统、科技公司和患者倡导者组成的健康人工智能联盟（Coalition for Health AI）正在创建一个“保证实验室”网络，这些实验室拥有验证系统和评估持续性能所需的人才和技术能力。* 该联盟的首席执行官兼联合创始人布莱恩·安德森（Brian Anderson）告诉Axios，目标是建立一个值得信赖的实验室生态系统，“这些实验室与他们验证模型的供应商没有商业联系。”* 目标是通过“成分和营养标签”标准化人工智能模型的评估方法，确保这些模型在特定地区的代表性数据上进行测试。
深入分析： 尽管医疗系统通常依赖食品和药物管理局（FDA）来审查他们使用的工具，但人工智能算法带来了不同的挑战，因为这些算法会随着时间变化，而且它们处理的数据可能高度不一致。* 这对监管机构、医院和诊所提出了独特的挑战。* 在波士顿训练的算法可能在新墨西哥州圣达菲的医院中无法正常工作。* “如果你想确保你的人工智能实际上在做你认为它在做的事情，你需要在实际使用的情况下对其进行验证，”FDA专员罗伯特·卡利夫（Robert Califf）最近在拉斯维加斯举行的HLTH会议上表示。* 卡利夫及其合著者在上个月的《JAMA Network》杂志上撰文，强调了对人工智能进行持续上市后监控的必要性，以防止算法失效和模型偏差。* “我不知道美国有哪家医疗系统有能力进行所需的验证，”卡利夫说。
详细情况： 桑福德健康系统（Sanford Health System）虚拟护理首席医疗官大卫·纽曼（David Newman）告诉Axios，医疗系统正被大量推销人工智能技术的提案淹没。* “我昨天查看了我的收件箱，收到了22封来自人工智能公司的电子邮件，”纽曼说。“我不知道它们是否已经得到验证。我不知道它们是否解决了任何问题。但要从中筛选出真正对患者和我们的提供者有用的东西非常困难。”* 在桑福德，任何新的AI产品都会由治理委员会审查，然后由数据分析团队内部验证，才能部署。* 但他表示，这非常耗费资源，仍然依赖外部研究，对于较小的医疗系统来说几乎不可持续。
关注点： 健康人工智能联盟（CHAI）正在征求不同用户和AI开发者的反馈意见，并计划在明年年初发布最终计划。
(全文结束)
