随着人工智能（AI）在我们世界中的影响日益增长，阿德莱德大学正在探索技术在健康领域，特别是在临床决策和解释中可以发挥的作用。《未来医疗保健杂志》上的分析评论概述了健康AI领域的一个主要挑战——可解释性，并探讨了是否需要对个人的具体预测进行解释才能做出好的决策。
“关注个体层面解释的可解释性领域是一个正在发展的领域，”阿德莱德大学澳大利亚机器学习研究所（AIML）的梅丽莎·麦卡登博士表示。“我们对这一领域的发展前景持乐观态度，但就目前而言，要求临床决策中提供预测级别的解释是有问题的。”
麦卡登博士及其合著者伊恩·斯特德曼博士，后者是加拿大多伦多约克大学的法律和公共政策教授，认为一个好的临床决策不仅应推进护理目标，还必须具有法律上的可辩护性。
“即使临床医生使用的是经过充分验证且高度准确的AI工具，他们也必须根据一系列其他因素来校准自己的判断，”斯特德曼博士说。
麦卡登博士是医院研究基金会集团的人工智能伦理临床研究员，妇女儿童健康网络的AI主任，以及病童医院的兼职科学家，她指出存在两种类型的可解释性：固有可解释性和事后可解释性。固有可解释性指的是理解模型整体如何运作，而事后可解释性则是尝试理解模型生成特定预测的具体方式。
“有些模型是直接可解释的，这意味着从输入到输出的操作易于跟踪和清晰，例如决策树。其他模型则更为不透明，意味着从输入到输出的过程难以或无法精确跟踪，即使对于开发者也是如此，”麦卡登博士说。
“在健康AI领域，临床医生通常认为他们看到热图或伴随患者输出的原因时，就是得到了解释。这是可以理解的，但新的证据表明，当AI工具出错时，这可能会促使他们做出不那么准确的决策。”
他们的工作建立在AIML研究员劳伦·奥克登-雷纳博士先前的研究基础上，后者关于可解释性方法的局限性的论文突显了该领域的初级阶段。
麦卡登博士和斯特德曼博士认为，可解释性本身不应成为伦理决策的重要组成部分。临床医生需要从证据和理解中得出结论，将患者置于过程的中心，而不是AI。
“赋予AI工具输出更多权重将进一步转移对患者的关注——他们的愿望、文化、背景，”斯特德曼博士说。“历史上，合理的判断是基于临床医生可用的所有证据和资源的总体情况，并结合患者的具体情况进行调整。”
麦卡登博士和斯特德曼博士总结道，AI预测几乎不可能成为临床医生做决策的唯一信息来源，尤其是其性能从未达到100%完美。
“在可预见的未来，始终有必要通过多种证据来源来指向一个合理的决策，”麦卡登博士说。“在这方面，医生应考虑AI工具的输出具体为整体临床图景贡献了什么。但我们始终需要以患者的愿望和最佳利益为出发点。”
(全文结束)
