根据最近发表在《神经信息处理系统会议论文集》（NeurIPS）上的一项研究，由威尔康奈尔医学院和洛克菲勒大学的研究人员于2024年12月13日提出，强化学习（一种人工智能技术）有可能帮助医生创建连续的治疗计划，从而改善患者预后，但在临床应用之前还需要重大进展。
强化学习（RL）是一种能够在一段时间内做出一系列判断的机器学习算法。负责近期人工智能成就（如国际象棋和围棋的超人表现）的RL可以利用不断变化的医疗状况、测试结果和之前的治疗反应来推荐下一步的最佳行动，以实现个性化患者护理。这种方法特别适用于慢性病或精神疾病管理的决策。
该研究引入了“护理阶段”（EpiCare），这是首个用于医疗保健的RL基准。
“基准推动了计算机视觉、自然语言处理、语音识别和自动驾驶汽车等机器学习应用的改进。我们希望它们现在能推动医疗保健领域的RL进步。”威尔康奈尔医学院助理教授Logan Grosenick博士表示。
RL代理根据反馈调整其行为，逐渐学习一种能够改进其决策制定的策略。“然而，我们的发现表明，尽管当前的方法很有前景，但它们非常依赖数据。”Grosenick博士补充道。
研究人员最初使用EpiCare评估了五种创新的在线RL模型的性能。所有五个模型都超过了标准护理基线，但只有在数千或数万个现实模拟治疗事件的训练之后才能做到这一点。
在现实世界中，RL技术永远不会直接在患者身上进行训练，因此作者随后评估了五种标准的“离线策略评估”（OPE）方法：这些方法试图使用先前的数据（例如来自临床试验的数据）来避免在线数据收集的必要性。通过EpiCare，他们发现现代OPE方法无法恰当地表示医疗保健数据。
“我们的发现表明，当前最先进的OPE方法不能被信任来准确预测长期医疗保健场景中的强化学习性能。”洛克菲勒大学研究员Mason Hargrave博士表示。
这项研究强调了创建更精确的基准工具（如EpiCare）的必要性，以审计当前的RL方法并提供衡量改进的指标，因为OPE方法越来越多地应用于医疗保健领域。
“我们希望这项工作能够促进医疗保健环境中对强化学习的更可靠评估，并帮助加速适用于医疗应用的更好RL算法和培训协议的发展。”Grosenick博士表示。
根据Grosenick博士在同一天的另一项NeurIPS研究中提出的成果，通常用于解释图像的卷积神经网络（CNN）可以修改以适用于更通用的图结构数据，如脑、基因或蛋白质网络。
2010年代初，CNN在图像识别任务中的广泛成功奠定了“深度学习”使用CNN和当前神经网络驱动的AI应用的基础。CNN的应用众多，包括医学图像分析、自动驾驶汽车和面部识别。
Grosenick博士进一步补充道：“我们经常对分析神经影像数据感兴趣，这些数据更像是图，具有顶点和边，而不像图像。但我们意识到，没有真正等同于CNN和深度CNN的工具来处理图结构数据。”
脑网络通常被描绘成图，其中脑区（显示为顶点）通过“边”向其他脑区传递信息，这些边连接并表达它们之间的强度。这同样适用于基因和蛋白质网络、人类和动物的行为数据以及药物等化学化合物的几何形状。通过直接检查这些图，研究人员可以更好地建模局部和远距离链接之间的依赖关系和模式。
当时在Grosenick实验室担任研究助理的Isaac Osafo Nkansah（该研究的第一作者）参与开发了量化图卷积网络（QuantNets）框架，该框架将CNN推广到图结构数据。
“我们现在正在将其用于建模患者的EEG（脑电活动）数据。我们可以在头皮上放置一个256个传感器的网络来读取神经元活动——这是一个图。我们将这些大型图简化为更易解释的组件，以更好地理解患者在接受抑郁症或强迫症治疗时动态脑连接的变化。”Grosenick博士补充道。
研究人员认为，QuantNets将有广泛的应用。例如，他们希望建模图结构的姿势数据以跟踪小鼠行为和通过计算机视觉获取的人类面部表情。
Grosenick博士总结道：“虽然我们仍在应对将尖端AI方法应用于患者护理的安全性和复杂性，但每一步前进——无论是新的基准框架还是更准确的模型——都会使我们逐步接近具有潜力显著改善患者健康结果的个性化治疗策略。”
(全文结束)
