1. 四足机器人感知运动控制的技术背景
四足机器人在复杂地形中的自主运动一直是机器人领域的重大挑战。传统轮式或履带式机器人在面对台阶、斜坡、松软地面等非结构化地形时表现受限,而腿式机器人凭借其离散的落脚点选择能力,理论上可以适应更复杂的环境。然而,实现这一潜力需要解决两个核心问题:如何准确感知外部环境,以及如何将感知信息转化为稳健的运动控制。
当前主流解决方案主要分为两类:基于本体感觉的控制和基于外部感知的控制。本体感觉控制仅依赖关节角度、角速度、IMU等内部传感器数据,具有极高的可靠性,但缺乏前瞻性——机器人必须实际接触地面后才能调整步态,这严重限制了运动速度。例如,ANYmal机器人在纯本体感觉控制下,复杂地形中的行走速度通常不超过0.5m/s。
基于外部感知的控制系统使用深度相机、激光雷达等传感器提前获取地形信息,理论上可以实现更快的运动速度。但实际应用中面临三大难题:
- 传感器可靠性问题:雪地、反光表面、透明物体、植被等都会导致深度感知失效
- 计算延迟问题:从原始传感器数据到可用地形信息的处理流程通常需要100-200ms
- 状态估计误差:机器人位姿估计的漂移会导致构建的地形图与实际位置出现偏差
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 鲁棒感知运动控制的核心架构
2.1 整体训练框架设计
本文提出了一种三阶段的训练框架,巧妙结合了强化学习和模仿学习的优势:
-
教师策略训练阶段:在仿真环境中,使用PPO算法训练一个可以访问完整环境状态(包括无噪声地形数据、精确摩擦系数等"特权信息")的神经网络策略。这个阶段的关键是设计合理的奖励函数,使策略既能跟随速度指令,又能保持运动稳定性。
-
学生策略训练阶段:训练另一个神经网络来模仿教师策略的行为,但只能访问实际机器人上可用的传感器数据(带噪声的深度测量、IMU等)。这一阶段引入了创新的"信念状态编码器",用于融合多模态传感器数据并估计隐藏的环境状态。
-
零样本迁移部署:将训练好的学生策略直接部署到真实机器人上,不做任何微调。这得益于仿真阶段精心设计的域随机化和传感器噪声模型。
2.2 信念状态编码器的关键技术
信念状态编码器是整个系统的核心创新,其设计包含多个精妙之处:
- 多尺度噪声建模:在学生训练阶段,向高度样本注入三种级别的噪声:
