1. 深度视觉如何重塑足式机器人运动能力边界
四足机器人的运动能力发展正经历一场由深度视觉驱动的革命。三年前,最先进的足式机器人还只能在平坦地面上行走,偶尔应对一些简单的台阶或斜坡。如今,搭载深度相机的四足机器人已经能够完成跳箱、跨越深沟、倒立行走等高难度动作——这些能力跃迁的背后,是深度视觉与强化学习技术的深度融合。
传统"盲行"(Blind Locomotion)技术存在根本性局限。2019年ETH团队在ANYmal机器人上展示的盲行策略,虽然能适应多种连续复杂地形,但面对需要提前规划动量的离散障碍(如高台、深沟)时表现乏力。根本原因在于:机器人无法"看见"前方地形,只能被动反应。这就像蒙眼走平衡木,即使能保持平衡,也无法主动规划跳跃或跨越动作。
深度视觉的引入彻底改变了这一局面。CMU的Extreme Parkour项目证明,当机器人能"看见"前方1.5米范围内的地形时,其运动能力会产生质变。他们的A1机器人实现了跨越自身体长两倍的深沟(0.8米),跳跃高度达到身高的两倍(0.6米)。这些数字意味着什么?相当于一个身高1.7米的人类运动员跳过3.4米宽的壕沟或摸高3.4米——这已经接近人类极限运动能力的水平。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术演进:从盲行到视觉跑酷的关键突破
2.1 盲行时代的核心技术积累
2018-2021年是盲行技术的黄金发展期,三大技术支柱在此期间确立:
仿真加速框架:ETH开发的IsaacGym+legged_gym组合首次实现了万级并行仿真。在RTX 3090显卡上,6144个环境并行运行,每秒可产生约200万条训练数据。这种数据吞吐量使得训练时间从传统CPU仿真的数周缩短到数小时。
本体状态估计技术:KAIST提出的非对称Actor-Critic框架解决了状态估计的sim-to-real问题。其核心思想是:Critic网络在训练时使用仿真中的特权信息(真实速度、接触力等),而部署的Actor网络仅使用IMU、编码器等真实传感器数据。这种结构既保留了特权信息的指导作用,又保证了策略的可部署性。
运动先验学习:UC Berkeley的AMP(Adversarial Motion Prior)框架为机器人运动注入了"生物合理性"。通过对抗训练,判别器网络学会区分"自然"和"不自然"的运动模式,从而引导策略生成类动物的运动姿态。这解决了纯任务驱动(如速度跟踪)导致的运动僵硬问题。
2.2 深度视觉带来的范式转变
2022年ETH的"Learning robust perceptive locomotion"工作是视觉时代的转折点。该工作首次在ANYmal上实现了基于深度相机的室外长距离导航,关键技术突破包括:
- 高程图估计网络:将64x64深度图像转换为局部1.6x1.6米的高程图,分辨率达2cm/像素
- 多模态传感器融合:IMU、关节编码器与视觉数据在特征层面进行注意力加权融合
- 渐进式视觉课程:从简单室内场景逐步过渡到复杂室外环境
这个工作
