在医疗领域应用人工智能已促使专家们呼吁谨慎行事，因为过分关注预测准确性而非治疗效果可能导致患者受到伤害。
荷兰的研究人员警告说，虽然人工智能驱动的结局预测模型（OPMs）很有前景，但它们可能会由于历史数据中的偏见而产生“自我实现的预言”。
OPMs利用患者的特定信息，包括病史和生活方式因素，帮助医生评估治疗选项。人工智能能够实时处理这些数据，在临床决策中提供了显著的优势。
然而，研究人员的数学模型显示了一个潜在的缺点，即如果训练数据反映了历史上治疗或人口统计方面的差异，人工智能可能会延续这些不平等现象，导致患者结果不佳。
该研究强调了人类监督在AI驱动的医疗保健中的关键作用。研究人员强调了“人类推理”在AI决策中的“内在重要性”，确保算法预测经过批判性评估，不会无意中强化现有的偏见。
研究团队随后创建了数学情景来测试AI如何可能对患者健康造成伤害，并指出这些模型“可能导致伤害”。
研究人员表示：“许多人认为，通过预测患者特定的结果，这些模型有可能为治疗决策提供信息，并且经常被称赞为个性化、数据驱动医疗的工具。然而，我们表明，即使在部署后这些预测表现出良好的区分度，使用预测模型进行决策也可能导致伤害。”
“这些模型是有害的自我实现预言：它们的部署会伤害一组患者，但这组患者的更差结果并不会降低模型的区分度。”
发表在数据科学期刊《Patterns》上的这篇文章还建议，AI模型开发需要将主要焦点从预测性能转向治疗政策和患者结果的变化。
针对研究中概述的风险，赫特福德大学计算机科学系首席讲师凯瑟琳·梅农博士表示：“当AI模型接受历史数据训练时，这种情况就会发生，而这些数据不一定考虑到某些医疗条件或人群的历史性治疗不足。”
“这些模型将准确预测这些人群的不良结果。”
“如果医生由于相关的治疗风险和AI预测的不良结果而不治疗这些患者，这将形成‘自我实现的预言’。”
“更糟糕的是，这延续了同样的历史性错误：治疗不足意味着这些患者将继续有较差的结果。”
“因此，使用这些AI模型有可能使那些在医疗环境中历来受到歧视的患者（基于种族、性别或教育背景等因素）的结果恶化。”
“这表明在情境中评估AI决策并将其与人类推理和评估相结合的重要性。”
目前，人工智能在英格兰的国民医疗服务体系（NHS）中用于帮助临床医生阅读X光片和CT扫描，以释放工作人员的时间，并加快中风诊断的速度。
今年1月，英国首相基尔·斯塔默爵士承诺英国将成为一个“人工智能超级大国”，并表示这项技术可以用来解决NHS的等待名单问题。
爱丁堡大学生物医学信息学教授伊恩·辛普森指出，AI OPMs“目前在NHS中并不广泛使用”。
他说：“在这里，它们通常与现有的临床管理政策并行使用，主要用于辅助诊断和/或加速图像分割等过程。”
爱丁堡大学外科和数据科学教授、医学信息中心联合主任埃文·哈里森表示：“虽然这些工具承诺提供更准确和个性化的护理，但这项研究突出了一种令人担忧的负面影响：预测本身可能会无意中通过影响治疗决策而伤害患者。”
“假设一家医院引入了一种新的AI工具，用于估计谁在膝关节置换手术后恢复不良的可能性较大。该工具使用年龄、体重、现有健康问题和身体状况等特征。”
“最初，医生打算使用这种工具来决定哪些患者将受益于强化康复治疗。”
“然而，由于资源有限且成本高昂，最终决定将强化康复主要保留给那些预测结果最佳的患者。”
“被算法标记为‘预测恢复不良’的患者得到的关注较少，理疗次数也较少，总体上获得的鼓励也较少。”
他补充说，这会导致一些患者的恢复速度较慢，疼痛更多，行动能力下降。
哈里森教授表示：“这些都是影响英国AI发展的实际问题。”
(全文结束)
