1. WAM研究背景与核心问题
在机器人操作模型领域,World Action Model(WAM)正引发新一轮研究热潮。去年底至今,Motus、Cosmos Policy、Lingbot-VA、DreamZero等突破性工作相继涌现,这些模型在仿真基准测试和真实机器人实验中展现出惊人性能,甚至让学界开始重新思考:WAM是否比传统的视觉语言动作模型(VLA)更具潜力?
这些前沿工作虽然实现方式各异,但都遵循着相似的范式——Imagine-then-Execute。简单来说,就是在训练时将未来视频预测(future video prediction)和未来动作预测(future action prediction)联合建模;推理时则让动作预测基于对未来视频的"想象"来生成。这种范式看似合理,但作为长期从事机器人学习的实践者,我不禁产生一个根本性质疑:WAM真正强大的秘密,究竟来自训练时的视频监督信号,还是推理时的显式未来想象?
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. WAM能力来源的深度解析
2.1 视频预测的双重角色
通过拆解典型WAM的工作流程,我们发现视频预测实际上承担着两种截然不同的功能:
训练阶段:视频预测任务为模型提供了密集的监督信号。这些信号与未来动作和环境演化高度相关,能有效帮助视频模型(即WAM的主干网络)学习到更优质的表示。就像教孩子学骑车时,不断反馈"车把偏左了""速度太快了"这样的即时指导。
推理阶段:视频预测为动作生成提供引导。此时的视频预测相当于给动作专家(action expert)提供未来场景的"预览",动作专家则扮演着类似潜在逆动力学模型(latent IDM)的角色。这就像骑自行车时,先想象接下来会遇到的弯道,再调整动作。
2.2 关键猜想的提出
当前主流WAM都采用Imagine-then-Execute的推理方式,这容易让人产生"推理时的未来想象不可或缺"的错觉。但结合VLA预训练的经验,我们提出了颠覆性猜想:
训练时的视频监督(因素1)才是WAM成功的真正关键,而推理时的显式未来想象(因素2)可能并非必需。
这个猜想源于一个简单类比:在VLA预训练中,离散动作token的联合训练(cotrain)作为代理任务(proxy task),其主要价值在于为VLM主干提供更好的监督信号,而非
