健康人工智能联盟（CHAI）在经过16个月的努力后，终于认证了其首个用于AI模型验证的合作。该合作旨在建立一个全国范围的人工智能保证实验室网络。
首个保证服务提供商将通过安全多方协作软件BeeKeeper AI运行，并使用来自纽约市西奈山伊坎医学院和亚特兰大莫尔豪斯大学医学院的数据集。尽管该保证资源合作将测试模型在全国代表性数据集上的表现，但它无法为医疗系统提供本地验证。
BeeKeeper、西奈山和莫尔豪斯的第一个可用用例是针对慢性心力衰竭（CHF）。开发CHF算法的AI模型开发者将能够在西奈山和莫尔豪斯策划的数据集上测试其模型的性能。这两个学术医疗中心拥有广泛的患者数据，使其能够测试AI算法。莫尔豪斯的数据集涵盖了种族、民族和社会经济方面的多样性，并特别关注社会经济条件如何影响CHF。
通过其产品EscrowAI，BeeKeeper将作为安全中间人，将专有模型和去标识化的患者数据集结合起来，以验证模型的性能。CHAI发言人表示，CHAI不会强制要求公开结果，供应商可以自行决定何时以及是否在CHAI的注册表上发布结果。
目前，新的合作中还没有任何模型正在测试或即将进入测试阶段。“关键在于……谁有一个已经准备好进行测试的模型？”BeeKeeper首席执行官Michael Blum博士在接受采访时说。“这是创业世界，对吧？很多人说他们有了东西并且准备好了，但实际上还早于那个阶段，或者他们已经开始销售某些东西，如果再进行一次验证可能会对他们造成困扰。”
CHAI声称，独立评估AI模型将加速模型开发者的上市时间。
首个保证服务提供商的宣布也首次揭示了CHAI认证AI验证的定价模式。Blum无法提供确切数字，因为定价将根据每个开发者模型的独特需求而定。然而，他说模型开发者的成本将基于所需访问的数据量、访问数据的时间长度以及模型的复杂性。
“如果是一个相对简单的模型，只看一个单一元素，并且可以在一周到几周内完成验证；这并不特别昂贵，”Blum说。“但如果他们需要获取相当复杂的数据，比如电子健康记录数据、影像数据和一些基因组数据以及电子健康记录笔记，并且他们的算法需要GPU加速来进行影像分析，那么就会变得非常复杂。”
BeeKeeper已经在推进超越CHF的更多用例的AI验证，包括用于收入周期管理等行政任务的AI。Blum表示，他希望在未来三到六个月内支持数十个用例的验证。
“这个公告的一个亮点是莫尔豪斯和西奈山已经策划了这个主数据集，”Blum说。“然后模型开发者会说，‘我需要这些元素’，他们会从已存在的主数据集中策划出算法开发者所需的确切数据集……从我们的角度来看，大部分都是完全自动化的，所以整个过程都在我们的SaaS平台上进行，支持模型所有者和数据管理员之间的协作，一切顺利的话，他们可能在一周内就能完成。”
CHAI首席执行官Brian Anderson博士在接受采访时表示，CHAI预计很快将宣布更多的认证保证服务提供商。
CHAI已经不再使用“质量保证实验室”这一术语，尽管在原则上概念相似。
“使用‘质量保证实验室’这样的术语似乎并不能很好地捕捉到它所提供的资源或像开发社区这样的概念，”Anderson说。“命名惯例并不完美，但这是我们最好的尝试，强调这些实验室或资源提供商既支持模型训练的开发者社区，也支持模型生命周期其他方面的验证或测试社区。”
未来，AI保证提供商很可能是私营公司和医疗系统的合作伙伴关系。
实际上，CHAI可能会利用已经存在的合作关系，例如BeeKeeper、西奈山和莫尔豪斯的情况。Blum表示，他们多年来一直与西奈山合作，并最近宣布了与莫尔豪斯的合作，这与CHAI保证资源认证是分开的。Blum还表示，西奈山自A轮融资以来一直是BeeKeeper AI的投资方。
CHAI的保证资源认证框架包括利益冲突披露和协议。此外，获得认证还需要平台具有安全基础设施、合格的人员和技术能力，以及监管级别的数据。
Blum表示，经过CHAI的审查并获得认证花费了几个月的时间。
“我们认为在医疗保健领域中，这些独立评估是非常重要的，对于护理交付组织来说，自己进行这些评估非常困难，甚至可以说是不可能的，”Blum说。“因此，有一个独立的机构供模型开发者前往是非常重要的。”
目前，CHAI保证服务提供商无法为医疗系统进行任何本地验证。如果医疗系统希望潜在供应商在其数据上测试模型，则必须找到本地测试的方法。
CHAI的目标是在全国范围内与大约30个医疗系统合作，设立AI验证提供商。Anderson表示，在认证管道中，已有代表上中西部、东海岸和东南部的地理分布。目前，山区、太平洋西北部和西南部仍缺少代表。
(全文结束)
