研究人员发现，医院在开发人工智能（AI）时对准确性和偏差的检查不足。一个研究团队详细分析了人工智能和预测分析模型，并得出结论，虽然一些医院和卫生系统的领导者正在努力确保模型的准确性和防止偏差，但许多并没有在该领域进行严谨的工作。
该研究团队——包括Paige Nong、Julia Adler-Milstein、Nate C. Apathy、A. Jay Holmgren和Jordan Everson，在1月份的《Health Affairs》杂志上详细介绍了他们对医院和卫生系统领导在患者护理组织中实施AI的程序和协议的分析。文章摘要《美国医院当前对人工智能和预测模型的使用和评估》指出：“为了确保预测模型（特别是由人工智能和机器学习驱动的模型）在医疗保健中的公平性、适当性、有效性、安全性和准确性（FAVES），需要有效的评估和治理。”
研究人员分析了2023年美国医院协会年度信息技术补充调查的数据，以确定医院如何使用和评估AI和预测模型的准确性和偏差。他们报告称：“我们发现65%的美国医院使用预测模型，其中79%的模型来自其电子健康记录开发商。61%使用模型的医院利用其健康系统数据（本地评估）评估了模型的准确性，但只有44%报告了本地评估偏差的情况。”
这一问题非常重要，研究人员指出，为了达到高水平的“FAVES”，偏差是一个核心关注点，因为越来越多的经验分析揭示了算法中存在的种族和其他形式的偏差，这些偏差通过构建障碍来阻止所需护理、延续有害的基于种族的医学或低估患者群体，从而加剧不平等现象。此外，“模型的准确性也是一个问题，因为医疗实践、数据捕获和患者群体存在差异。”研究人员还提到，“在不同于训练数据的环境中部署的AI可能无效或缺乏价值。”
研究团队的分析还发现，尽管更多医院报告了本地评估准确性，但超过三分之一的医院未提供准确性的保证。令人担忧的是，56%的报告医院未报告评估偏差的情况。
文章作者总结道：“使用2023年的全国数据，我们确定了AI和预测模型在美国医院中的使用、应用和评估情况。我们发现，尽管大多数美国医院报告使用预测模型，但不到一半的医院系统地评估了模型的偏差，只有三分之二的医院评估了模型的准确性。我们的研究结果表明，需要为独立和资源匮乏的医院提供更多指导和资源，以确保无论患者在哪里接受治疗，都能使用准确且无偏差的AI。同样，目前不在联邦监管范围内的自我开发模型的增长及其广泛影响也需要额外考虑。”
研究人员并未提倡大规模、可能抑制创新的法规；相反，他们认为“支持FAVES AI可用性的针对性政策以及增强评估和治理AI的能力可能是最有效的，包括旨在将资源匮乏的医院连接到评估能力的干预措施。”
(全文结束)
