SO-101机器人上训练ACT模型的实战经验分享

1. 项目概述：在SO-101机器人上训练动作分块变换器（ACT）的完整历程

去年夏天，当我第一次看到Action Chunking Transformer（ACT）模型在论文中流畅地完成虾仁烹饪任务时，就被这种端到端的机器人控制方法深深吸引。三个月前，我终于有机会在真实的SO-101双臂机器人上复现这个神奇的技术。与大多数教程展示的顺利过程不同，我的实践之路充满了意想不到的挑战——从数据收集的硬件问题到模型泛化的困境，甚至遭遇了机器人"罢工"的戏剧性时刻。本文将完整呈现三次迭代的实战细节，特别是那些在标准教程中不会提及的"血泪教训"。

2. 初始尝试：从"啄木鸟"机器人到问题诊断

2.1 基础环境搭建

参照LeRobot官方教程，我搭建了一个典型的示教学习环境：

• 硬件配置：两台罗技C920高清网络摄像头（前后视角），SO-101主从机械臂配置
• 控制方案：主臂通过teleop控制从臂运动，形成动作映射
• 计算平台：NVIDIA RTX 3080显卡的工作站，运行Ubuntu 20.04系统

关键提示：在初期就应记录所有硬件序列号和USB端口映射，这个疏忽后来导致了严重的数据中断问题

2.2 首次数据收集的陷阱

原计划收集50组演示数据（每组10个不同起始位置的抓取-放置动作），实际遇到了多个典型问题：

1. 摄像头随机断开：由于使用两个同型号摄像头，系统USB总线会随机重新分配设备路径。临时解决方案是通过udev规则固定设备映射：

   bash复制# /etc/udev/rules.d/99-webcam.rules
   SUBSYSTEM=="video4linux", KERNELS=="3-4.1:1.0", SYMLINK+="front_cam"
   SUBSYSTEM=="video4linux", KERNELS=="3-4.2:1.0", SYMLINK+="top_cam"
   

2. 视角遮挡问题：侧视摄像头在夹爪闭合时会出现指尖视觉重叠（见图1），严重影响模型对抓取动作的理解。这促使我在后续迭代中将侧视摄像头改为顶视角度。

2.3 训练与评估的落差

使用LeRobot默认配置训练52M参数的ACT模型后，出现了令人啼笑皆非的"啄木鸟"行为：

• 机器人会接近积木但无法正确抓取
• 在目标位置上方反复进行开合动作
• 对积木位置变化极其敏感

通过系统分析，发现主要问题根源在于：

python复制# 问题诊断检查表
problems = {
    "camera_pose_variance": 15.2,  # 摄像头位置偏移角度(°)
    "calibration_drift": True,     # 关节校准偏移
    "grasp_position_bias": 0.8,    # 抓取位置偏高(cm)
    "data_diversity_score": 0.3    # 数据多样性指数
}

3. 系统改进：构建可靠的学习框架

3.1 硬件配置标准化

第二次迭代中，我对实验设置进行了全面升级：

1. 视觉系统重构：

   • 采用前视+顶视双摄像头布局
   • 使用Aruco标记物建立坐标系转换基准
   • 固定所有摄像头参数（曝光、白平衡、对焦）

2. 机械校准优化：

   python复制def calibrate_arm(arm):
       # 新增关节中位校准步骤
       for joint in arm.joints:
           joint.set_neutral_position()
       # 验证各关节零点误差 < 0.5°
       return verify_calibration(arm)
   

3. 夹爪改进：

   • 在指尖粘贴3M摩擦胶带
   • 设置力矩限制防止过载

3.2 数据收集方法论

建立科学的数据采集流程是成功的关键：

1. 任务空间定义：
   • 积木起始位置：6个分区（见图2）
   • 容器类型：3种（塑料盒、碗、纸箱）
   • 动作阶段划分：接近→抓取→移动→释放

2. 数据质量控制系统：

   python复制class DataQualityValidator:
       def __init__(self):
           self.criteria = {
               'grasp_center_offset': <0.5cm,
               'approach_angle': <15°,
               'motion_smoothness': >0.8
           }
       
       def validate(self, episode):
           # 实现多维度质量检查
           ...
   

3.3 评估体系构建

开发了完整的评估工具链：

1. 进度评分系统：

   阶段	权重	完成标准
   接近积木	0.2	夹爪距积木<3cm
   成功抓取	0.4	夹持力>1.5N
   到达容器	0.7	积木在容器上方
   释放完成	1.0	积木稳定在容器内

2. 自动化测试脚本：

   bash复制python eval_pipeline.py \
       --model act_52m \
       --eval_set ood_bin4 \
       --num_episodes 12 \
       --output_dir ./eval_results
   

4. 关键挑战与解决方案

4.1 机器人"反抗"事件分析

在第二次数据收集中，遭遇了典型的硬件故障：

code复制[ERROR] Dynamixel sync_read failed on ID6
[DEBUG] Gripper response latency: 128ms (threshold 50ms)

根本原因是：

1. 高频控制（30Hz）下夹爪电机响应超时
2. 因过度夹紧导致电机绕组过热
3. 引发整个Dynamixel总线通信中断

解决方案包括：

• 更换受损电机
• 添加温度监控：

  python复制def safety_check():
      while True:
          temp = gripper.get_temperature()
          if temp > 65°C:  # 安全阈值
              emergency_stop()
          sleep(0.1)
  

• 优化夹持力度控制算法

4.2 数据多样性提升策略

第三次迭代中采用分层采样方法大幅改进模型性能：

1. 空间覆盖优化：

   • 每个分区从10组增加到25组演示
   • 引入Halton序列保证均匀分布

2. 姿态多样性增强：

   python复制def generate_poses():
       for yaw in np.linspace(-45, 45, 5):  # 偏航角
           for pitch in [0, 15]:            # 俯仰角
               yield build_pose(x, y, z, yaw, pitch)
   

3. 多模态抓取示范：

   • 包含中心抓取、边缘抓取等不同策略
   • 添加恢复动作示范

5. 最终成果与经验总结

5.1 性能对比

经过三次迭代后的关键指标提升：

5.2 核心经验

1. 硬件可靠性第一：

   • 建立设备健康监控系统
   • 准备关键备件（特别是电机）

2. 数据质量金字塔：

   code复制      ▲
   Generalization ← Diversity
         ↑
   Robustness ← Noise Control
         ↑
   Accuracy ← Precise Demonstration
   

3. 调试工具链建议：

   • 时间同步可视化工具
   • 动作轨迹对比分析模块
   • 实时损失曲面监控

5.3 未来优化方向

基于当前成果，下一步计划：

1. 开发自适应数据增强策略
2. 引入触觉传感器反馈
3. 实现混合精度训练加速
4. 探索多任务迁移学习框架

这个项目最深刻的体会是：机器人学习不是简单的"数据+算法"，而需要建立完整的感知-决策-执行验证闭环。每个环节的微小误差都可能被放大为系统级故障。当看到机械臂最终流畅地完成物品分拣时，那些调试到凌晨三点的夜晚都变得值得了。