1. 项目概述:RL Tokens如何革新机器人精细操作
在机器人执行复杂物理任务时,我们常遇到一个矛盾现象:基础模型能轻松完成抓取螺丝刀这类宏观动作,却在将刀尖对准1mm螺丝孔这类精细操作上频频失败。这正是pi团队最新提出的RL Tokens(RLT)技术要解决的核心问题——通过在线强化学习实现亚毫米级动作微调。
传统VLA(Vision-Language-Action)模型如pi系列已能处理从叠衣服到烹饪的数百种日常任务,但其瓶颈在于难以通过端到端训练优化那些需要极高时空精度的操作阶段。RLT的创新在于构建了一个精妙的"模型外科手术"方案:在保持主干模型冻结的前提下,仅通过一个特殊设计的RL Token接口,就能在15分钟真实数据内将螺丝对准等关键动作速度提升3倍。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析:RLT的三大核心设计
2.1 瓶颈层表征压缩技术
RLT的核心是一个经过特殊训练的编码器-解码器Transformer模块,其工作原理类似于视频压缩中的关键帧提取:
- 特征蒸馏:通过768维的瓶颈层,将VLA内部的多层激活(通常超过10,000维)压缩为256维的RL Token
- 双向重建:训练时要求模块既能从RL Token重建原始激活,也能从部分观测预测完整Token
- 时空聚焦:自动强化接触瞬间的力/位姿信号权重(如螺丝刀尖的扭矩变化)
这种设计使得一个仅2MB大小的轻量策略网络,就能基于RL Token实现精确的动作调整,相比微调整个VLA模型(通常10GB+)节省了99%的计算资源。
2.2 分层动作编辑机制
RLT的策略网络并非完全替代VLA的动作生成,而是采用渐进式修正方案:
python复制# 伪代码展示动作编辑过程
def generate_action(obs):
base_action = vla_model(obs) # 原始VLA动作
rl_token = token_encoder(obs)
delta = policy_network(rl_token) # 微调量
# 动态混合系数(根据critic评分调整)
alpha = sigmoid(critic(rl_token))
return a
