赖黹1. ACT算法与多模态图像处理概述
ACT（Action Chunking with Transformers）是一种基于Transformer架构的动作分块算法，最初设计用于机器人模仿学习任务。在单相机单机械臂场景下，ACT已经展现出优秀的动作预测能力。但当引入多模态传感器（如多相机、触觉传感器）时，图像数据的预处理和模型输入处理会面临新的挑战。
我在UR5e机械臂上部署ACT算法时，最初仅使用单一视觉模态（单个工业相机）时，整个流程相对简单。图像统一resize到224×224分辨率，episode数据长度保持一致即可顺利训练。但最近引入两个视触觉传感器后，出现了多图像尺寸不一致导致的训练报错问题。这促使我深入研究了ACT的多模态数据处理机制。
关键发现：ACT模型本身并不包含内置的图像resize操作，它要求所有输入图像模态的分辨率必须保持一致。当存在多个视觉输入时，开发者需要自行确保数据预处理阶段的尺寸统一性。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 多模态数据集的预处理方案
2.1 输入数据格式分析
ACT的标准输入数据通常采用以下结构：
python复制{
'observations': {
'image_1': np.array(shape=(T, H, W, C)),
'image_2': np.array(shape=(T, H, W, C)),
'proprio': np.array(shape=(T, D))
},
'actions': np.array(shape=(T, A))
}
其中T表示时间步长，H/W/C分别代表图像高/宽/通道数，D和A是本体感觉和动作的维度。
2.2 多相机分辨率统一方案
当使用多个视觉传感器时，常见的问题场景包括：
- 主相机输出1280×720 RGB图像
- 辅助相机输出640×480 红外图像
- 触觉传感器输出320×240 压力分布图
推荐采用以下预处理流程：
python复制def preprocess_image(image, target_size=(224,224)):
# 保持长宽比的resize
h, w = image.shape[:2]
scale = min(target_size[0]/h, target_size[1]/w)
new_h, new_w = int(h*scale), int(w*scale)
resized = cv2.resize(image, (new_w, new_h))
# 边缘填充
delta_h = target_size[0] - new_h
delta_w = target_size[1] - new_w
top = delta_h // 2
bottom = delta_h - top
left = delta_w // 2
right = delta_w - left
padded = cv2.copyMakeBorder(
resized, top, bottom, left, right,
cv2.BORDER_CONSTANT, value=0)
return padded
2.3 时间步长对齐策略
多模态数据另一个关键问题是episode长度对齐。建议采用以下方法：
-
采集阶段：
- 使用硬件同步触发所有传感器
- 设置统一的采样频率（如30Hz）
-
后处理阶段：
- 检查各模态的帧数差异
- 采用线性插值对齐时间步：
python复制from scipy.interpolate import interp1d def align_timesteps(data, original_times, target_times): f = interp1d(original_times, data, axis=0) return f(target_times)
3. ACT模型架构与多模态适配
3.1 模型输入层改造
标准ACT的视觉处理流程：
code复制图像输入 → CNN编码器 → 位置编码 → Transformer
多模态适配方案：
- 为每种图像模态配置独立的CNN编码器
- 共享或独立的position embedding
- 模态融合策略：
- 早期融合：拼接各模态特征
- 晚期融合：分别处理后再合并
3.2 关键参数配置示例
在config.py中需要调整的参数：
python复制class Config:
# 图像参数
IMAGE_SHAPE = {
'camera1': (224, 224, 3),
'camera2': (224, 224, 1), # 红外单通道
'tactile': (224, 224, 1) # 触觉图像
}
# 编码器配置
ENCODERS = {
'camera1': 'resnet18',
'camera2': 'resnet18',
'tactile': 'simple_cnn'
}
# 融合策略
FUSION_STRATEGY = 'early' # or 'late'
4. 训练过程中的问题排查
4.1 典型错误分析
原始报错分析：
code复制ValueError: Input 0 of layer "encoder" is incompatible with the layer:
expected shape=(None, 224, 224, 3), found shape=(None, 320, 240, 1)
这表明：
- 触觉图像未resize到预期尺寸
- 通道数与配置不匹配（预期RGB三通道，实际单通道）
4.2 调试检查清单
-
数据加载阶段：
- 打印每个episode中各模态的shape
- 验证时间步长是否对齐
-
模型输入阶段：
- 检查
dataset.__getitem__输出格式 - 验证数据增强是否影响尺寸
- 检查
-
训练配置：
- 确认
config.py中的尺寸定义 - 检查各编码器的输入规格
- 确认
4.3 实用调试代码片段
快速验证数据管道的代码：
python复制# 检查单个episode
episode = dataset[0]
print(f"Camera1 shape: {episode['observations']['camera1'].shape}")
print(f"Camera2 shape: {episode['observations']['camera2'].shape}")
# 验证模型输入
sample = {
'observations': {
k: torch.rand(1, *v) for k,v in config.IMAGE_SHAPE.items()
}
}
output = model(sample) # 应无报错
5. 性能优化与实验设计
5.1 多模态训练技巧
-
学习率调整：
- 视觉模态：通常需要较小学习率（如1e-4）
- 本体感觉：可以较大学习率（如1e-3）
-
批次设计：
- 混合不同长度的episode时：
python复制def collate_fn(batch): max_len = max([x['actions'].shape[0] for x in batch]) padded_batch = [] for x in batch: pad_len = max_len - x['actions'].shape[0] padded = { 'observations': { k: np.pad(v, [(0,pad_len)]+[(0,0)]*(len(v.shape)-1)) for k,v in x['observations'].items() }, 'actions': np.pad(x['actions'], [(0,pad_len),(0,0)]) } padded_batch.append(padded) return default_collate(padded_batch)
5.2 评估指标设计
除标准动作预测精度外，建议添加：
- 模态重要性权重分析
- 单模态消融实验
- 时间一致性指标：
python复制def temporal_consistency(actions): diffs = np.diff(actions, axis=0) return np.mean(np.linalg.norm(diffs, axis=1))
6. 实际部署注意事项
6.1 实时性优化
-
图像预处理加速：
- 使用OpenCV的GPU加速
- 预分配内存缓冲区
-
模型轻量化：
- 知识蒸馏训练小模型
- 量化感知训练
6.2 硬件协同设计
-
相机触发同步：
- 硬件触发信号串联
- PTP精确时间协议
-
数据传输优化：
- 零拷贝内存共享
- 多线程流水线：
python复制class Pipeline: def __init__(self): self.queue = Queue(maxsize=3) def camera_callback(self, image): processed = preprocess(image) self.queue.put(processed) def inference_thread(self): while True: batch = [self.queue.get() for _ in range(8)] # 执行推理
7. 扩展应用场景
7.1 跨模态迁移学习
- 视觉到触觉的跨模态预训练
- 模态缺失情况下的推理：
python复制def infer_with_missing(modality_masks): # modality_masks指示哪些模态可用 masked_input = apply_masks(inputs, modality_masks) return model(masked_input)
7.2 多任务学习框架
扩展ACT支持：
- 主任务：动作预测
- 辅助任务：
- 场景分割
- 物体识别
- 接触预测
实现方式：
python复制class MultiTaskACT(nn.Module):
def __init__(self):
super().__init__()
self.shared_encoder = ...
self.action_head = ...
self.seg_head = ...
def forward(self, x):
features = self.shared_encoder(x)
return {
'action': self.action_head(features),
'segmentation': self.seg_head(features)
}
8. 经验总结与避坑指南
在实际部署多模态ACT系统时，这些经验可能帮到你：
-
图像尺寸陷阱：
- 不同OpenCV版本中，resize的默认插值方法可能不同
- 解决方案：显式指定插值方法
python复制
cv2.resize(img, (w,h), interpolation=cv2.INTER_LINEAR) -
内存泄漏排查：
- 多模态数据容易导致内存碎片
- 建议：使用固定内存池
python复制class MemoryPool: def __init__(self, shape, dtype=np.uint8): self.buffers = [np.zeros(shape, dtype) for _ in range(10)] def get_buffer(self): return self.buffers.pop() def release(self, buf): self.buffers.append(buf) -
训练稳定性技巧：
- 各模态的梯度幅度可能差异很大
- 解决方案：梯度裁剪按模态分开
python复制for name, param in model.named_parameters(): if 'camera1' in name: torch.nn.utils.clip_grad_norm_(param, 1.0) elif 'tactile' in name: torch.nn.utils.clip_grad_norm_(param, 0.5) -
实时显示优化：
- 多模态可视化可能成为性能瓶颈
- 推荐方案：
python复制import matplotlib.pyplot as plt def create_overlay(image1, image2): fig, ax = plt.subplots(1, 2, figsize=(10,5)) ax[0].imshow(image1) ax[1].imshow(image2) fig.canvas.draw() return np.frombuffer(fig.canvas.tostring_rgb(), dtype=np.uint8)
通过这次多模态ACT的部署实践，我深刻体会到：机器人学习系统的鲁棒性不仅取决于算法本身，更依赖于对传感器特性的深入理解和恰当的数据处理策略。特别是在工业应用场景中，实时性要求和计算资源限制往往需要我们在模型精度和系统效率之间找到平衡点。