宇树G1机器人强化学习环境配置与训练实战

1. 实验环境搭建与问题排查

作为一名长期从事机器人控制算法开发的工程师，最近在宇树G1机器人的强化学习控制算法开发中，遇到了不少环境配置的坑。这里详细记录下使用isaac_gym仿真平台训练G1控制算法的完整过程，特别是那些官方文档没有明确说明的细节问题。

1.1 硬件与系统选择

首先必须明确的是：训练必须使用物理机。我尝试过以下三种环境：

1. WSL2：无法显示isaac_gym的可视化界面
2. 虚拟机：无法正确调用NVIDIA显卡
3. 物理机：唯一可行的方案

我的最终配置：

• 主机：搭载RTX 4090显卡的工作站
• 系统：Ubuntu 22.04 LTS

注意：官方文档推荐使用Ubuntu 18.04/20.04，但在实际安装Ubuntu 20.04时遇到了网卡驱动不兼容的问题。测试发现Ubuntu 22.04完全兼容isaac_gym，且训练好的模型可以无缝迁移到G1 EDU开发板（基于Ubuntu 20.04）。

1.2 显卡驱动安装指南

驱动安装是第一个大坑，以下是完整流程：

1.2.1 卸载旧驱动（如有）

bash复制sudo apt purge nvidia*
sudo apt autoremove

1.2.2 查询推荐驱动版本

bash复制ubuntu-drivers devices

1.2.3 安装驱动（两种方式）

自动安装推荐版本：

bash复制sudo ubuntu-drivers autoinstall

或手动指定版本（以535为例）：

bash复制sudo apt update
sudo apt install nvidia-driver-535

1.2.4 验证安装

重启后执行：

bash复制nvidia-smi

常见问题解决方案：

1. Secure Boot冲突：进入BIOS禁用Secure Boot（华硕按F8，戴尔按F2）
2. 驱动安装后黑屏：尝试更换驱动版本（如从535换到525）
3. CUDA与驱动版本不匹配：参考NVIDIA官方兼容性表格

2. 虚拟环境配置全流程

2.1 Miniconda安装与配置

bash复制wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
source ~/.bashrc

配置清华镜像源加速：

bash复制conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

2.2 创建Python虚拟环境

bash复制conda create -n rl-g1 python=3.8
conda activate rl-g1

关键细节：

• Python版本必须为3.8（兼容性最佳）
• numpy建议锁定1.23.5版本（高版本可能报错）

bash复制pip install numpy==1.23.5

3. Isaac Gym平台安装与验证

3.1 下载与安装

从NVIDIA官网下载Isaac Gym Preview 4，注意勾选所有可选组件。

安装命令：

bash复制cd isaacgym/python
pip install -e . -i https://mirrors.aliyun.com/pypi/simple/

3.2 常见问题解决

问题1：libpython3.8.so.1.0缺失

bash复制sudo find / -name "libpython3.8.so.1.0"
# 找到后复制到虚拟环境的lib目录
cp /path/to/libpython3.8.so.1.0 ~/miniconda3/envs/rl-g1/lib/

问题2：OpenGL报错
安装缺失的依赖：

bash复制sudo apt install libgl1-mesa-glx libgl1-mesa-dev

4. 强化学习训练全流程

4.1 获取官方示例代码

bash复制git clone https://github.com/unitreerobotics/unitree_rl_gym.git

4.2 路径配置关键点

修改train.py和play.py中的路径时，必须注意：

python复制# 正确写法（指向父目录）
sys.path.append("/path/to/unitree_rl_gym")

# 错误写法（会导致ModuleNotFoundError）
sys.path.append("/path/to/unitree_rl_gym/legged_gym")

4.3 训练参数调整

在legged_gym/envs/g1/g1_config.py中：

python复制# 修改训练迭代次数（默认10000次耗时过长）
max_iterations = 1000  

启动训练：

bash复制python train.py --task=g1

4.4 模型测试技巧

测试时需要特别注意play.py的导入顺序：

python复制import sys
sys.path.append("/path/to/unitree_rl_gym")  # 必须放在最前面
from legged_gym import LEGGED_GYM_ROOT_DIR

5. 实战经验与优化建议

5.1 训练过程监控

1. 观察reward曲线：在终端输出的同时，建议使用TensorBoard记录
2. 可视化调试：按键盘数字键1-4可以切换不同视角
3. 性能优化：在g1_config.py中调整sim_device参数（"cuda:0"或"cpu"）

5.2 模型迁移技巧

1. 格式转换：使用torch.jit保存模型以便在C++中加载
2. 量化压缩：减小模型体积以适应嵌入式设备

python复制torch.quantization.quantize_dynamic(model, dtype=torch.qint8)

5.3 高级调试方法

1. 关节力矩可视化：修改g1_config.py中的debug_viz参数
2. 接触力监测：开启env_cfg.env.enable_force_sensors
3. 随机种子固定：设置seed参数确保实验可复现

经过1000次迭代训练后，G1机器人已经能够实现稳定的行走控制。相比官方示例，我通过调整reward函数权重（增加对躯干稳定性的奖励），使机器人的步态更加自然。后续可以尝试更复杂的动作技能训练，如上下楼梯或搬运物品。