1. Psi-0项目概述:人形机器人移动操作的新范式
人形机器人的移动操作(loco-manipulation)是当前机器人领域最具挑战性的前沿方向之一。想象一下,让一个双足机器人在行走的同时完成开门、搬运物品甚至冲泡咖啡这样的复杂任务——这需要机器人同时协调数十个关节的自由度,处理移动与操作之间的动态耦合关系。传统方法往往将移动和操作分开处理,导致动作僵硬、效率低下且容易失败。
Psi-0项目的突破性在于提出了一种全新的训练范式和技术架构,成功实现了人形机器人的全身协调控制。这个开源基础模型的核心创新可以概括为三点:
- 解耦的三阶段训练策略:将传统的端到端训练拆分为视觉理解、动作学习和任务适配三个阶段,大幅提升了知识迁移效率
- 分层控制系统设计:模仿人类神经系统的分层结构,将高级决策、精细控制和基础反射分离处理
- 实时动作分块机制:独创的RTC技术解决了大模型推理延迟与实时控制需求之间的矛盾
在实际测试中,Psi-0仅用800小时人类视频和30小时机器人数据,就在复杂任务上超越了使用10倍数据量的基线模型40个百分点的成功率。这种"少数据、高性能"的特点使其特别适合实际机器人应用场景。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析:分阶段训练范式
2.1 视觉语言模型预训练阶段
第一阶段使用829小时的EgoDex人类第一视角视频数据集,训练一个20亿参数的视觉语言模型(VLM)。这个阶段的关键在于:
- 任务空间表示法:采用48自由度的统一表示(手腕9DOF+指尖15DOF),而非直接学习关节角度
- 语义理解优先:模型学习的是"抓取"、"放置"等高级概念,而非具体控制信号
- 跨平台兼容性:这种抽象表示使得人类知识能迁移到不同构型的机器人
技术细节:模型输入为640x480的RGB图像,通过ViT-L/14架构提取视觉特征,与语言指令嵌入拼接后预测下一步动作。损失函数采用交叉熵,优化器使用AdamW(lr=3e-5,β1=0.9,β2=0.98)
2.2 动作专家后训练阶段
第二阶段冻结VLM参数,引入全新的5亿参数MM-DiT网络,专门学习从语义空间到36维关节空间的映射:
- 数据特异性:使用31小时Humanoid Everyday机器人数据集
- **控制
