强化学习（Reinforcement Learning, RL）是一种人工智能方法，有潜力指导医生设计连续治疗策略，以实现更好的患者结果。然而，一项由威尔康奈尔医学院和洛克菲勒大学研究人员进行的新研究发现，该方法在应用于临床环境之前仍需显著改进。
强化学习是一类能够在一段时间内做出一系列决策的机器学习算法。它负责近期的人工智能进展，包括在国际象棋和围棋中超越人类的表现。强化学习可以利用患者病情的变化、测试结果和之前的治疗反应，建议个性化患者护理的下一步最佳步骤。这种方法特别适用于慢性病或精神疾病的管理决策。
这项研究发表在《神经信息处理系统会议论文集》（Proceedings of the Conference on Neural Information Processing Systems, NeurIPS）上，并于12月13日进行了介绍，提出了“护理阶段”（Episodes of Care, EpiCare），这是第一个针对医疗保健的强化学习基准。
“基准测试已经推动了计算机视觉、自然语言处理、语音识别和自动驾驶汽车等机器学习应用的改进。我们希望它们现在能推动医疗保健领域的强化学习进步，”研究负责人、精神病学神经科学助理教授Logan Grosenick博士说。
强化学习代理基于收到的反馈不断优化其行动，逐渐学习一种增强其决策能力的策略。“然而，我们的研究发现，尽管当前的方法很有前景，但它们非常依赖数据，”Grosenick博士补充道。
研究人员首先测试了五种最先进的在线强化学习模型在EpiCare上的表现。所有五种模型都超过了标准护理基线，但在数千或数万个现实模拟治疗阶段的训练后才达到这一效果。在现实世界中，强化学习方法永远不会直接在患者身上进行训练，因此研究人员接下来评估了五种常见的“离线策略评估”（Off-Policy Evaluation, OPE）方法：这些方法旨在利用历史数据（如临床试验数据）来避免在线数据收集的需要。使用EpiCare，他们发现最先进的OPE方法在医疗保健数据上始终无法准确表现。
“我们的研究结果表明，目前最先进的OPE方法不能被信赖准确预测纵向医疗保健情景中的强化学习性能，”第一作者、洛克菲勒大学研究员Mason Hargrave博士说。随着OPE方法越来越多地被讨论用于医疗保健应用，这一发现强调了开发更准确的基准工具（如EpiCare）的必要性，以审计现有的强化学习方法并提供衡量改进的指标。
“我们希望这项工作能够促进医疗保健环境中强化学习的更可靠评估，并帮助加速开发更适合医疗应用的更好强化学习算法和培训协议，”Grosenick博士说。
适应卷积神经网络以解释图数据
在同一天的另一篇NeurIPS论文中，Grosenick博士分享了他关于将广泛用于处理图像的卷积神经网络（Convolutional Neural Networks, CNNs）适应更一般的图结构数据（如大脑、基因或蛋白质网络）的研究。2010年代早期，CNNs在图像识别任务中的广泛应用为“深度学习”奠定了基础，并开启了现代神经网络驱动的人工智能应用时代。CNNs被用于许多应用，包括面部识别、自动驾驶汽车和医学图像分析。
“我们经常需要分析类似于图的数据，例如具有顶点和边的神经影像数据，而不是像图像那样的数据。但我们意识到，当时并没有真正相当于CNNs和深度CNNs的工具可用于图结构数据，”Grosenick博士说。
大脑网络通常表示为图，其中大脑区域（表示为顶点）通过“边”向其他大脑区域传递信息，这些边连接并代表它们之间的强度。这同样适用于基因和蛋白质网络、人类和动物的行为数据以及药物等化学化合物的几何形状。通过直接分析这些图，我们可以更准确地建模局部和更远距离连接之间的依赖关系和模式。
当时在Grosenick实验室的研究员Isaac Osafo Nkansah是该研究的第一作者，他帮助开发了量化图卷积网络（Quantized Graph Convolutional Networks, QuantNets）框架，该框架将CNNs推广到图结构数据。
“我们现在正在将其用于建模患者的EEG（脑电活动）数据。我们可以在头皮上放置一个由256个传感器组成的网络来读取神经元活动——这就是一个图，”Grosenick博士说。“我们正在将这些大型图简化为更具可解释性的组件，以更好地理解患者在接受抑郁症或强迫症治疗时动态脑连接的变化。”
研究人员预见了QuantNets的广泛适用性。例如，他们还在研究图结构姿态数据以跟踪小鼠模型和通过计算机视觉提取的人类面部表情的行为。
“虽然我们仍在导航将尖端AI方法应用于患者护理的安全性和复杂性，但每一步前进——无论是新的基准框架还是更准确的模型——都使我们逐步接近能够显著改善患者健康结果的个性化治疗策略，”Grosenick博士总结道。
(全文结束)
