NHS英格兰（NHSE）分享了关于评估人工智能项目和技术的指导，这些指导基于“人工智能在医疗保健中的应用奖”（Artificial Intelligence in Health and Care Award），该奖项支持了有前景的人工智能技术的设计、开发和部署。NHSE指出，评估主要集中在八个关键领域：安全性、准确性、有效性、价值、技术是否满足部署地点的需求和人口需求、实施的原因和面临的问题、扩大规模的可行性以及可持续性。
从这些评估中，NHSE分享了几点教训。首先，NHSE认为国家级监督设计将有助于确保利益相关者的期望得到满足，评估应包括来自NICE、英国国家筛查委员会、专门的人工智能学者和患者及公众参与专家的代表。其次，NHSE强调了与技术供应商、独立评估者和采用地点（包括临床和患者用户）共同生产和评估AI的重要性，这有助于确保算法准确性的准确评估，并识别改进机会。在需要改进的方面，NHSE指出，AI技术已经在评估委托之前被选定并制定了部署计划。此外，由于项目主要由技术供应商主导，有时会出现采用地点缺乏参与评估的能力或动力，导致一些项目未能充分考虑技术在临床路径中的整合及其下游影响。
NHSE还指出，对于多站点技术部署的评估，至少需要两年时间。这些评估需要几个月的时间来完成三个不同的阶段：设计和规划评估、了解基线情况/结果以及了解各站点之间的差异，并在开始测量影响之前让技术落地。
NHSE建议未来的国家级项目应鼓励准实验性、混合方法的评估设计，解释说13项AI评估中有11项采用了这种方法，更适合AI的实施，允许技术平台的快速更新，而不是随机对照试验。进一步的考虑还包括更关注评估AI技术对健康不平等的影响；NHSE承认AI算法可能产生有偏见的输出并加剧健康不平等。虽然一些评估者计划进行敏感性分析，但并未一致实现，因此建议更加明确地关注这一领域。
NHSE指出，行业快速变化意味着团队高度依赖来自MHRA、NICE、健康研究机构和NHSE本身的指导和资源，因此这些组织应确保信息定期更新。指导文件还详细回顾了评估过程每个阶段的经验教训。例如，在确定AI技术的监管状态和预期用途的范围阶段，NHSE提出了两个具体问题供反思：对旨在提高临床管理运营效率的AI算法是否应归类为医疗器械的不同意见，以及对此类AI算法对患者护理的风险水平的不同意见。
其他范围相关的建议包括早期与采用地点接触并留出足够时间了解不同地点的临床实践和IT系统的差异及其参与评估的能力；如果不清楚评估是属于研究还是服务评估，则应联系健康研究局寻求支持。
在设计和规划评估方面，NHSE分享了混合定性和定量方法对于理解影响至关重要，帮助评估者了解评估前临床路径和护理实践的差异、本地IT系统的使用差异、AI技术校准的差异、评估前的技术和培训访问差异以及临床医生或行政团队使用AI输出的差异。NHSE强调了评估设计中的实用性和灵活性的重要性；独立AI专业知识和临床领导的价值；确保数据共享安排对话和书面协议的关键性。此外，NHSE指出，应在建立健康经济建模方法时咨询评估受众；患者“超级用户”或患者组织在评估面向临床医生的AI技术时提供的支持；应留出几个月时间进行基线分析和让技术落地；评估应彻底分析结果，考虑到患者特征和临床医生经验。
在进行评估时，NHSE建议定期检查技术使用情况和收集的数据质量；并与患者交谈，以了解将AI纳入护理路径的可接受性。
该文件及其支持案例研究可在此处查看全文。
(全文结束)
