1. 项目概述:RL-Co框架的创新价值
在具身智能领域,视觉-语言-动作(VLA)模型的真机部署长期面临三大痛点:训练成本高、泛化能力弱、数据效率低。传统解决方案往往陷入两难选择——要么投入巨额资金构建高保真数字孪生环境,要么耗费大量人力采集真机演示数据。清华大学于超团队提出的RL-Co框架,通过创新性地结合监督微调(SFT)与强化学习(RL),在轻量仿真环境下实现了真机性能的显著提升。
这个方案最吸引人的地方在于其工程实用性:它不需要追求仿真环境的像素级还原,而是通过ManiSkill等工具构建关键几何特征匹配的简易环境,配合两阶段训练策略,在OpenVLA和π0.5两种典型VLA架构上实现了20%以上的真机成功率提升。这种"低成本高回报"的特性,使其特别适合科研机构和小型团队快速验证算法。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案深度解析
2.1 整体架构设计
RL-Co采用分阶段渐进式训练策略,其核心创新在于将仿真数据的利用分为两个维度:
- 静态数据维度:通过混合真机与仿真演示数据,为模型提供基础行为模式
- 动态交互维度:利用仿真的可交互特性,通过RL探索更优策略空间
这种双管齐下的方式,既保留了模仿学习的稳定性,又获得了强化学习的探索优势。实验数据显示,相比纯SFT方法,RL-Co在Open Drawer任务上仅用20条真机数据就达到了200条真机数据的基线水平,数据效率提升达10倍。
2.2 关键技术实现细节
2.2.1 阶段一:混合SFT初始化
该阶段使用以下数据配比:
- 真机演示数据:20-50条成功轨迹(通过SpaceMouse遥操作采集)
- 仿真演示数据:1000条轨迹(使用MimicGen扩增)
关键处理技巧:
- 对仿真轨迹进行修剪,去除长段无效自由空间运动
- 保持真机与仿真数据的相机视角和物体布局对齐
- 采用动态混合比例α,初期侧重真机数据,后期逐步增加仿真数据比重
2.2.2 阶段二:RL微调与正则化
创新性地设计了复合损失函数:
code复制L_total = L_RL + β*L_SFT(θ; D_real)
其中β采用自适应调整策略:
- 初始值设为0.5
- 根据真机验证集性能动态调整
- 设置上限β_max=1.0防止过拟合
