1. 项目概述
LaST₀(Latent Spatio-Temporal Chain-of-Thought)是2026年初由北京大学、北京人形机器人创新中心、香港中文大学和Simplexity Robotics联合提出的机器人视觉-语言-动作(VLA)模型创新框架。这个模型的核心突破在于实现了机器人"直觉式思考"——通过在潜空间进行时空推理,既保留了人类思考的深度,又达到了机器执行的速度要求。
关键创新点:用潜码(Latent Tokens)替代传统显式思维链(如语言或图像),推理速度提升3倍以上(达到15.4Hz),在RLBench测试环境中的平均任务成功率提升12.7%。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理与技术架构
2.1 潜空间思维链设计
传统VLA模型的显式思维链(如CoT-VLA生成未来图像)存在两大瓶颈:
- 计算冗余:生成完整图像需要约800ms/帧,而机器人控制需要50-100ms级响应
- 信息损失:语言描述难以精确表达物体几何特征(如曲面曲率)和动力学特性(如摩擦系数)
LaST₀的解决方案是构建五维潜空间:
- 2D视觉特征(来自SigLIP编码器)
- 3D几何特征(来自Uni3D点云编码器)
- 机器人本体状态(关节角度、末端力觉)
- 时间维度(Δt=0.1s的离散时间步)
- 任务语义(来自DeepSeek-LLM的嵌入)
python复制# 潜空间构建伪代码
def build_latent_space(rgb_img, point_cloud, robot_state):
visual_feat = siglip_encoder(rgb_img) # 2D视觉特征
geometric_feat = uni3d_encoder(point_cloud) # 3D几何特征
state_feat = mlp(robot_state) # 本体状态编码
return torch.cat([visual_feat, geometric_feat, state_feat], dim=-1)
2.2 双专家协同系统
模型采用Mixture-of-Transformers(MoT)架构,包含两个异步运行的专家模块:
| 模块
