健康AI联盟（CHAI）的利益冲突验证
CHAI全球峰会于10月19日至20日在拉斯维加斯威尼斯人会展中心举行，与HLTH会议的第一天重叠。（HLTH）
在拉斯维加斯举行的健康AI联盟（CHAI）全球峰会上，CHAI成员聚集一堂，探讨了他们提出的全国性AI保障实验室网络中的一些最基本问题。CHAI工作人员和工作组负责人征求了他们最近发布的AI模型卡和保障实验室的想法反馈。大约80名来自CHAI成员组织的人员就保障实验室的问题进行了讨论，包括保障实验室的主要客户是谁以及实验室如何披露利益冲突。
CHAI一直在迅速发展全国性的AI保障实验室网络。CHAI在8月份告诉《Fierce Healthcare》，它将在年底前宣布前两个保障实验室。CHAI高管在8月份的一期“Podnosis”节目中表示，约有32个CHAI成员组织有兴趣成为保障实验室。马萨诸塞大学陈氏医学院和MITRE公司于3月宣布启动他们的AI保障实验室。
但CHAI社区仍在探讨保障实验室的一些最基本问题，例如谁将支付模型验证费用以及实验室将验证哪些信息。讨论通过查塔姆规则进行调解，这是一套允许会议参与者分享讨论信息而不透露发言者身份的指南。查塔姆规则在圆桌讨论中实施，以便记者可以参加。
以下是参与者在峰会上讨论的一些最大问题。
谁是保障实验室的主要客户，谁应该付费？
圆桌会议参与者公开讨论了保障实验室的主要客户会是谁。许多参与者建议，模型开发者会在接受FDA审查之前寻求保障实验室的验证。在这种情况下，参与者一致认为模型开发者应支付保障实验室认证费用。从小组讨论来看，FDA前的模型验证似乎是实验室的一个可靠用例。但从这里开始，情况变得更加复杂。
相关内容
CHAI提出草案框架以认证AI保障实验室，监管努力持续推进
有许多算法无需经过FDA授权。这些算法可能由大型学术医疗中心内部开发。一位消息人士在讨论之外告诉《Fierce Healthcare》，杜克大学、梅奥诊所和斯坦福大学是最活跃的算法开发者。尚不清楚像杜克、梅奥和斯坦福这样的医疗系统是否会使用保障实验室来验证他们在自己的数据上开发并打算仅用于自己患者的模型。
如果一个医疗系统希望购买AI产品，但希望先对其进行测试以确定其在患者群体中的表现，保障实验室可能会派上用场。这似乎与上市前测试一样，是另一个重要的用例。但在这种情况下，关于哪个实体将支付产品测试费用存在争议。一位来自大型学术医疗中心的医生表示，产品的买家，即医疗系统，应该支付费用。毕竟，目前任何beta测试或内部验证工作都是由买家承担的。
“你的保障质量可能与你的组织规模和资金多少有关。因此，存在一种内在的不平等……如果有人帮我完成了工作……也许我愿意为此付费。”他们说。
一些人表示，如果模型供应商承担验证费用，他们可能会设法将额外成本纳入定价，最终由买家支付。另一个潜在问题是，如果模型供应商支付验证费用，他们可能会期望获得批准印章。
“当考虑资金模式时……医疗保健组织可能更愿意多付钱以避免这种利益冲突和潜在偏见。”一位与会者在提到模型供应商支付保障实验室认证费用时说。
这位大型学术医疗中心的医生建议买家和开发者可以分摊验证费用，随着时间的推移，开发者承担更大的比例。
“我认为这必须部分由创造这些产品的商业努力承担。谁从销售这些产品中获利必须承担一部分，但组织必须能够覆盖自己的治理成本。”另一位与会者说。
相关内容
健康AI联盟希望实现地方治理和国家标准
每个实验室的具体程度如何，他们会验证什么？
参与者讨论了实验室将验证的内容以及如何管理测试的广度和深度。CHAI提出了每个实验室都配备代表其所在地区的地方数据的想法。因此，如果一个医疗系统或模型开发者打算在一个主要为城市黑人患者的群体中使用算法，他们可以使用一个能够使用新的城市黑人患者数据集测试该算法的保障实验室。AI是一个大类别，用于医疗保健的模型范围从高级图像读取到自动计费。一位与会者将模型的多样性比作微波炉、船和飞机之间的差异。
测试不同产品的准确性可能需要广泛不同的输入和资源，一位与会者指出。在实验室内部平衡保障的广度和深度将非常困难，他们说。确保单个产品可能需要对该技术的深入专业知识。但如果一个实验室花费时间和金钱深入了解某种成像算法，例如，它不太可能在财务上维持下去。
参与者表示，如果保障实验室能够比较供应商的声明，从而消除AI供应商混乱带来的困惑，这将非常有用。目前尚不清楚提议的全国AI验证注册表将如何比较供应商的声明。参与者似乎同意，保障实验室的全国算法注册表将有助于避免重复模型。但对于这些信息的可访问性存在争议。
“有人开发了一个败血症模型……它不需要一遍又一遍地重新创建，对吧？……CHAI可以成为已经测试过的模型的经纪商，无论是许可还是免费，我还不知道。”一位参与者说。
2023年12月，CHAI董事会成员尼甘·肖博士、约翰·哈拉姆卡博士和苏奇亚·萨里亚撰写的一篇论文写道：“这些实验室可以提供不同层次的评估，从特定用途的技术性能和偏差评估，到针对分层患者亚组的性能解释，再到通过人机协作和基于特定政策和工作能力约束的预部署模拟评估使用模型输出的后果。”
相关内容
CHAI发布医疗保健AI的质量保证标准草案
农村医疗设施如何参与？
CHAI全球峰会的参与者集体强调，所有类型的医疗设施都应能够获得安全可靠的AI，包括农村医院和诊所。但农村医院可能没有预算或能力内部验证AI供应商的声明。一些参与者表示，CHAI监督的保障实验室网络可能对此有所帮助。此外，CHAI吹捧的保障实验室结果全国注册表也可以帮助民主化AI产品测试的结果。目前尚不清楚是否需要付费才能访问模型结果。
算法还需要持续监控，小型医疗组织可能难以自行完成。一位参与者建议，大型医疗系统可以承担帮助小型诊所监控算法的责任。讨论中有一个想法是，资源更丰富的系统应该承担大部分成本和初始努力，使AI验证结果公开。
“如果我们有10个医疗系统[联合起来]，[开始]报告这些事情……是否存在这样一个世界，资源丰富的医疗系统可以进行初步验证，进行报告，然后向全国其他地区报告？”这种方法可能会出现问题，如果农村患者的考虑未反映在大型系统的数据和测试中。
一位与会者表示，为了减轻小型和农村设施的负担，他们应该有一种简单而直接的方式与保障实验室互动。
是否可以整合资源？
大型医疗系统投入的AI资金可以集体用于整个医疗保健行业，但这些医疗系统愿意合作的可能性有多大？
“如果你将所有医疗系统评估一项技术……我们可能总共花费数亿美元开发产品，但由于每个人都在独自进行，评估的质量只是他们能负担得起的。”一位与会者说。医疗系统和公司都担心，如果与位于竞争机构内的保障实验室合作，他们的知识产权会被共享，峰会参与者表示。
如何披露利益冲突？
与会者讨论了保障实验室应要求什么样的披露。CHAI工作人员提到了制造业，该行业详细披露了他们的利益冲突，并建议健康AI行业也可能这样做。
“在制造业中，有些实验室既可以创建也可以验证自己的产品，但要能够做到这一点所需的披露水平非常详细，非常健全。”一位与会者说。
共和党议员表达了对CHAI最大成员（包括谷歌和微软）负责验证较小竞争对手技术的担忧。CHAI表示，这种情况不会发生，尽管保障实验室可能是现有的AI公司、医疗系统和学术医疗中心。
健康AI联盟（CHAI）利益冲突验证 杜克大学 斯坦福大学 梅奥诊所 数字健康 健康科技 提供商 监管 AI和机器学习
(全文结束)
