1. 项目概述:Goal-VLA如何重新定义机器人零样本操作
在机器人操作领域,我们长期面临一个核心矛盾:人类可以轻松理解"把番茄放进锅里"这样的指令并执行,而机器人却需要海量的训练数据才能学会类似操作。传统解决方案通常陷入两个极端——要么依赖数百万条"指令-动作"配对数据训练端到端模型(如RT-2),要么使用分层架构但受限于粗糙的中间表示(如语言描述或关键点)。新加坡国立大学邵林团队提出的Goal-VLA框架,通过将生成式视觉语言模型(VLM)转化为"以物体为中心的世界模型",实现了令人惊艳的零样本泛化能力。
我在实验室第一次看到Goal-VLA操作真实机械臂完成"直立倒下的瓶子"任务时,最震撼的是它展现出的类人推理能力:系统会先分析瓶子的物理状态,生成多个可能的直立姿态候选,然后通过虚拟叠加验证哪些姿态是物理可行的,最后计算出精确的抓取和旋转动作。整个过程完全基于单次观察和自然语言指令,没有任何任务特定的训练数据。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析:三层解耦设计
2.1 目标状态推理模块
传统VLM在机器人应用中通常仅用于语义理解,而Goal-VLA的创新在于将图像生成式VLM(Gemini 2.5 Flash-image)转化为预测工具。当接收到"整理凌乱的桌面"这种模糊指令时:
- 指令增强:先用文本VLM扩展为"将散落的笔放入笔筒,书本竖立排列在书架左侧..."
- 候选生成:对每个子任务生成3-5张目标场景图像
- 物理验证:通过Grounded SAM分割目标物体,以半透明方式叠加到当前场景,使用Reflector VLM评估合理性
关键技巧:在"番茄入锅"任务中,我们发现直接生成的图像常有番茄悬浮在锅上方的物理错误。通过设置反射提示词如"确保食物与容器底面接触",成功率从32%提升至79%。
2.2 空间基准计算
这是将2D视觉目标转化为3D操作指令的关键步骤。传统光流法在生成图像上效果差,团队开发了基于语义特征的匹配方案:
- 使用DINOv2提取初始帧和目标帧的像素级特征
- 通过最优传输建立特征对应关系
- 结合Depth Anything V2的深度估计,构建3D点云对应
- 用Umeyama算法求解最优刚体变换矩阵
实验数据显示,这种方法在餐具重排列任务中的位姿估计误
