1. 低成本具身数据采集的技术突破
在具身智能领域,数据采集一直是个"卡脖子"难题。传统方案要么依赖昂贵的动作捕捉设备(动辄数万美元),要么受限于实验室环境难以规模化。蚂蚁数科天玑实验室提出的AoE框架,用一部智能手机+20美元支架的组合,实现了专业设备95%的采集效果,这个数字背后是三个关键创新:
1.1 硬件设计的极简主义
那个看似简单的颈挂支架其实暗藏玄机:
- 双模固定系统:机械夹具适配不同手机型号,磁吸结构确保拍摄角度稳定。实测在快速行走时,镜头偏移角度<1.5°
- 人体工学配重:支架重心经过精确计算,使设备重量均匀分布在锁骨位置,8小时连续佩戴肩颈压力仅相当于戴眼镜的1.2倍
- 被动散热设计:支架与身体间保留3mm空气层,配合手机金属背板,使连续录制时的CPU温度比手持状态低8-12℃
提示:支架的倾角设定为15°俯角,这是经过200+次测试得出的黄金角度,既能完整捕捉手部动作,又不会过多摄入地面干扰信息。
1.2 端云协同的智能采集
AoE的"Always-On"特性不是简单持续录像,而是包含一套精密的触发机制:
| 触发条件 | 识别模型 | 响应延迟 | 典型场景 |
|---|---|---|---|
| 手物接触 | 轻量级YOLO-Hand | 80ms | 抓取杯子时自动开启3秒预录 |
| 语音指令 | 端侧ASR | 120ms | 说出"开始演示"时启动专项记录 |
| 运动突变 | IMU加速度检测 | 20ms | 跌倒时触发紧急记录 |
这套系统使得有效数据占比从传统方案的23%提升至68%,存储空间节省2/3。
1.3 数据自动化的技术栈
从原始视频到训练数据要经历"三级火箭":
- 原子化切割:使用ViT-B/16模型以每秒5帧分析视频,在动作边界(如"伸手-抓握-抬起"转换点)自动分割
- 语义标注:基于LLM的video captioning系统生成如"左手以三指捏持马克杯手柄,匀速抬升20cm"的结构化描述
- 质量过滤:通过对比学习筛选出分布最接近目标域的样本,剔除模糊/遮挡/光照异常的片段
实测显示,经过该流程处理的数据,在机器人模仿学习中的效用是原
