1. 项目背景:触觉感知为何成为具身智能的关键瓶颈
在机器人技术发展的"感官进化史"中,视觉和听觉的突破已经让机器初步具备了环境感知能力。但当我们试图让机器人完成抓取鸡蛋、系鞋带这类需要精细力控的任务时,就会发现一个明显的短板——它们的手掌就像戴着厚手套的人类,无法感知接触面的压力分布和材质特性。这正是哈工深团队开展EgoTouch研究的核心动因。
传统触觉数据采集存在三大技术困境:
- 信号同步难题:触觉传感器采样率通常高达1kHz,而视频帧率多为30fps,多模态时序对齐需要精密的时间戳设计
- 空间标定复杂度:触觉阵列的每个taxel(触觉像素)都需要与视觉坐标系建立映射关系
- 动态干扰问题:操作过程中手套传感器的位移会导致数据失真
杨朔教授团队的创新在于采用了一套多级同步方案:
- 硬件层使用PTP(精确时间协议)同步所有设备时钟
- 软件层通过LED频闪标记实现亚帧级对齐
- 运动补偿算法实时校正手套位移
关键设计细节:触觉手套采用16×16阵列的柔性压力传感器,空间分辨率达到2mm,压力灵敏度范围0.1-50N,正好覆盖人类日常操作的力觉区间。这种参数设计源于对3000次人手操作行为的统计分析。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. EgoTouch数据集的技术突破解析
2.1 多模态数据采集架构
团队设计的可穿戴式采集系统包含以下核心组件:
-
视觉模块:
- 头戴Insta360 ONE RS(第一人称视角,4K@60fps)
- 双腕GoPro HERO10(手腕视角,2.7K@120fps)
- 采用广角镜头(150° FOV)确保操作区域全覆盖
-
触觉模块:
- 定制款Tactile Glove Mk-II
- 每手掌256个压力传感单元
- 采样率1kHz(下采样至60Hz与视频同步)
-
位姿追踪模块:
- Rokoko动作捕捉手套(42个关节角度)
- HTC Vive Tracker(6DoF空间定位)
- 融合IMU数据实现毫米级精度
