1. 项目概述:当机器人学会"看视频学动作"
去年在实验室调试Unitree机器人的时候,有个场景让我印象深刻:工程师们为了教机器人完成一个简单的挥手动作,需要手动编写几十行控制代码,反复调整关节角度和力矩参数。这种传统编程方式就像在教婴儿写字时直接控制他每块肌肉的收缩——低效且反直觉。而GenMimic框架的出现,正在彻底改变这个局面。
这个由上海人工智能实验室团队开发的系统,首次实现了类人机器人对生成视频中人类动作的零样本模仿。简单来说,它让机器人具备了"看视频学动作"的能力:输入一段AI生成的人类动作视频(比如挥手、开门、比心等动作),机器人就能自动解析视频内容,并转换成自身可执行的物理动作。这背后的技术突破在于解决了两个核心难题:
-
形态鸿沟问题:人类与机器人的身体结构存在显著差异(比如人类有灵活的脊柱而多数机器人没有),直接复制人类关节角度会导致机器人失衡摔倒。GenMimic通过4D人体重建与形态重定向技术,将视频中的人体动作"翻译"成适合机器人机械结构的运动轨迹。
-
生成噪声问题:AI生成的视频常包含动作失真、物理不可行姿态等缺陷(如手臂穿透身体、违反关节活动范围等)。研究团队设计的加权关键点跟踪机制,能自动识别并降低噪声区域的影响,优先保证手、头等任务关键部位的跟踪精度。
实测数据显示:在包含428个合成视频的GenMimicBench测试集上,该系统教师策略的成功率达到86.77%,远超传统方法(GMT仅4.29%)。这意味着未来我们可以用文本描述直接生成动作视频,机器人就能自动学会执行——这可能是最接近"言传身教"的机器人训练方式。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析:两阶段仿生学习管道
2.1 从像素到机器人指令的魔法转换
GenMimic的核心创新在于其两阶段处理管道,这就像把人类的舞蹈教学分解为"看录像学动作"和"调整姿势适应自身"两个环节:
阶段一:4D人体重建与形态适配
- 视频生成:使用Wan2.1或Cosmos-Predict2等模型,根据文本提示(如"一个人走向书架取书")生成动作视频
- 姿态解算:通过TRAM模型从视频逐帧提取SMPL格式的人体参数(全局旋转+23个关节角度+10维形状参数)
- 形态重定向:采用PHC工具将人类骨骼映射到机器人拓扑结构,考虑以下约
