1. 项目概述
最近在机器人抓取领域,一个名为GraspVLA的新系统引起了我的注意。这个由北京大学和香港大学等机构联合研发的系统,通过创新的渐进式动作生成(PAG)技术,在十亿级规模的合成数据集SynGrasp-1B上进行预训练,实现了令人印象深刻的抓取性能。作为一名长期关注机器人技术的从业者,我认为这个工作为解决机器人抓取中的泛化性问题提供了新思路。
GraspVLA的核心价值在于它巧妙地将视觉-语言模型(VLM)与动作生成相结合,通过PAG机制构建了一个端到端的抓取基础模型。不同于传统模块化系统,它能够直接理解自然语言指令,并生成相应的抓取动作,在透明物体等传统难点上表现尤为突出。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术背景与挑战
2.1 机器人抓取的发展现状
机器人抓取技术经历了几个重要发展阶段:
-
基于规则的方法:早期系统依赖手工设计的规则和几何分析,需要精确的物体模型和环境信息。这类方法在面对新物体时需要重新设计规则,泛化能力有限。
-
数据驱动方法:随着深度学习兴起,基于大量真实数据训练的抓取检测模型(如AnyGrasp)成为主流。这些方法虽然提高了泛化性,但仍面临两个主要问题:
- 真实世界数据采集成本高昂
- 模型难以适应未见过的物体类别
-
模块化系统:近期一些工作尝试将视觉-语言模型与传统抓取模块结合,通过语言接口提高交互性。然而,这种拼接式设计在应对复杂任务时存在协调问题。
2.2 合成数据的潜力与局限
合成数据因其低成本、高可控性被视为解决数据瓶颈的潜在方案,但一直面临"仿真到现实"(sim-to-real)的迁移难题。传统方法通常需要额外的域适应步骤,增加了系统复杂度。
GraspVLA的创新之处在于,它通过PAG机制直接在预训练阶段就解决了sim-to-real问题,无需额外的微调步骤。这是通过将互联网数据(提供语义知识)与合成数据(提供几何信息)在统一框架下联合训练实现的。
3. SynGrasp-1B数据集构建
3.1 数据集设计理念
SynGrasp-1B是GraspVLA项目的核心基础,其设计考虑了三个关键因素:
- 规模:十亿帧级别的数据量确保模型能学习到足够的多样性
- 多样性:覆盖240个类别的10,680个物体实例
