首次,一个机器人通过观看外科手术视频被训练来执行手术程序,这标志着机器人手术领域的一大飞跃。这一模仿学习的突破意味着机器人无需为每一个单独的动作编程即可学习复杂的任务。通过对手术录像进行训练,机器人以与人类外科医生相当的技能复制了手术程序,展示了其自主适应甚至纠正自身行为的能力。研究人员认为,这种方法可以加快机器人手术的培训速度,提高准确性,为未来的全自主手术打开大门。
这项技术使用了与语言模型相同的底层AI原理,但将其应用于控制机器人的运动。该研究可能会改变手术领域,减少医疗错误,提高精确度。
关键事实:
- 通过视频模仿训练的机器人执行手术的效果与人类外科医生相当。
- 这种AI方法加速了机器人手术的培训,使其学习更快、更灵活。
- 该模型使用了类似于ChatGPT的机器学习架构,但其“语言”是机器人运动学,即用数学表示机器人运动的角度。
**来源:**约翰斯·霍普金斯医学
一名机器人首次通过观看经验丰富的外科医生的视频,成功执行了与人类医生同样熟练的手术。
成功使用模仿学习来训练手术机器人消除了为每个医疗程序中所需的每个动作编程机器人的需要,使机器人手术领域更接近真正的自主性,即机器人可以在没有人类帮助的情况下执行复杂的手术。
研究人员向他们的模型输入了数百段记录自达芬奇机器人手臂上的腕部摄像头拍摄的手术过程视频。高级作者Axel Krieger说:“这个模型真的非常神奇,我们所做的只是输入摄像机图像,它就能预测出手术所需的机器人动作。我们认为这标志着医疗机器人领域向前迈出了一大步。”
由约翰斯·霍普金斯大学研究人员领导的研究成果本周将在慕尼黑举行的机器人学习会议上展示,这是机器人技术和机器学习领域的顶级活动之一。研究团队包括斯坦福大学的研究人员,他们使用模仿学习训练达芬奇手术系统机器人执行基本的手术程序:操纵针头;提起身体组织;缝合。
该模型结合了模仿学习与支持ChatGPT的相同机器学习架构。不过,ChatGPT处理的是文字和文本,而这个模型则用运动学语言,即用数学分解机器人运动的角度。
研究人员向他们的模型输入了数百段记录自达芬奇机器人手臂上的腕部摄像头拍摄的手术过程视频。这些视频由世界各地的外科医生录制,用于术后分析,然后存档。全球近7000台达芬奇机器人正在使用,超过50000名外科医生接受了该系统的培训,为机器人提供了大量可供模仿的数据。
尽管达芬奇系统被广泛使用,但研究人员表示,它以不精确著称。然而,研究团队找到了一种方法来使有缺陷的输入发挥作用。关键是训练模型执行相对运动而非绝对动作,后者是不准确的。“我们只需要图像输入,然后这个AI系统就能找到正确的动作。”首席作者Ji Woong Briana Kim说,“我们发现,即使只有几百个演示,模型也能学会程序并在未遇到的新环境中进行泛化。”
研究团队训练机器人执行三项任务:操纵针头、提起身体组织和缝合。在每种情况下,基于团队模型训练的机器人执行的手术程序与人类医生一样熟练。“这个模型非常好,能学到我们没有教过的东西。”Krieger说,“比如,如果针头掉了,它会自动捡起来继续操作。这不是我教它的。”
研究人员表示,该模型可用于快速训练机器人执行任何类型的手术程序。团队现在正使用模仿学习训练机器人不仅执行小的手术任务,而是完整的手术。
在此之前,即使训练机器人执行手术的一个简单方面也需要手动编码每个步骤。有人可能花十年时间尝试建模缝合,Krieger说。而这仅是针对一种手术的缝合。“这非常有限。”Krieger说。“这里的新颖之处在于,我们只需要收集不同程序的模仿学习数据,就可以在几天内训练机器人学习。这使我们能够加速实现自主性的目标,同时减少医疗错误,实现更准确的手术。”
来自约翰斯·霍普金斯大学的研究人员包括博士生Samuel Schmidgall、助理研究工程师Anton Deguet和机械工程副教授Marin Kobilarov。斯坦福大学的研究人员包括博士生Tony Z. Zhao。
(全文结束)


