UnifoLM-VLA：机器人视觉语言动作多模态训练框架解析

1. UnifoLM-VLA 训练框架概述

UnifoLM-VLA 是一个面向机器人操作的视觉-语言-动作（Vision-Language-Action）多模态模型框架。与常见的端到端训练方式不同，它采用了两阶段训练策略，这种设计背后有着深刻的工程考量。

在机器人领域，直接使用通用视觉语言模型（VLM）进行动作预测通常会遇到几个关键瓶颈：

1. 通用VLM缺乏对机器人操作场景的空间理解能力
2. 动作预测需要细粒度的空间几何关系建模
3. 长期动作序列预测需要结合任务语义和物理约束

两阶段训练的核心思想是：先培养模型"看懂"场景的能力，再教会它"动手"操作。这种解耦设计在实践中被证明比端到端联合训练更有效。

2. 第一阶段：VLM 继续预训练详解

2.1 基础模型选择与改进

项目选择Qwen2.5-VL-7B作为基础模型并非偶然。这个7B参数的视觉语言模型在多项基准测试中表现出色，特别是在：

• 细粒度视觉理解
• 多轮对话能力
• 长文本理解

针对机器人场景的特殊需求，团队对原始架构做了三方面改进：

1. 增强空间注意力机制
2. 引入层次化视觉特征提取
3. 优化跨模态对齐模块

2.2 预训练任务设计

不同于常规的图文匹配预训练，这个阶段特别设计了6类机器人相关任务：

2.2.1 2D视觉任务

• 目标检测：预测物体边界框
• 实例分割：像素级物体分割
• 场景图生成：物体关系建模

2.2.2 3D空间任务

• 点云物体检测
• 深度估计
• 视角变换理解

2.2.3 时序理解任务

• 动作序列预测
• 轨迹补全
• 状态变化推理

这些任务通过多任务学习框架联合优化，共享底层视觉特征提取器但使用不同的任务特定头。

2.3 数据混合策略

预训练数据采用精心设计的混合比例：

• 30% 通用视觉语言数据（保持基础能力）
• 40% 仿真机器人数据（大量标注）
• 30% 真实机器人数据（domain adaptation）

这种混合确保了模型既不会遗忘原有能力，又能专注机器人场景优化。

3. 第二阶段：VLA 动作头训练

3.1 模型架构扩展

在预训练VLM基础上，新增了三个关键模块：

1. 状态编码器：处理机器人本体传感器数据
2. 动作预测头：输