1. Youtu-VL:视觉-语言统一自回归监督框架解析
在计算机视觉与自然语言处理的交叉领域,视觉-语言模型(Vision-Language Models, VLMs)近年来取得了显著进展。然而,现有架构普遍面临一个根本性挑战:模型在理解粗粒度语义的同时,往往丢失了对细粒度视觉细节的捕捉能力。这种现象源于当前主流的"文本主导"训练范式——视觉特征仅作为语言生成的辅助输入,而非直接的监督目标。
1.1 现有VLM架构的核心缺陷
传统VLM采用的非对称训练方式存在三个关键问题:
-
信息瓶颈效应:当视觉信号仅作为条件输入时,模型会自然倾向于保留对文本生成最有用的高层语义,而丢弃对语言输出"非必要"的视觉细节。例如在图像描述生成任务中,模型可能记住"狗"的语义概念,但忽略具体的品种特征或姿态细节。
-
模态失衡:由于损失函数完全基于文本token的预测误差,反向传播过程中视觉编码器接收的梯度信号较弱且间接。这导致视觉表示学习效率低下,尤其在数据量不足的场景。
-
任务局限性:现有范式难以支持需要精确空间感知的任务(如目标检测、分割等),因为这些任务要求模型输出结构化视觉信息而非自然语言。
1.2 Youtu-VL的创新架构
Youtu-VL框架通过三大核心技术突破解决了上述问题:
1.2.1 视觉-语言统一词表
项目团队构建了包含150,000个视觉token的码本,与文本词表共同组成统一的多模态词表V_unified。关键创新在于协同视觉Tokenizer的设计:
- 使用SigLIP-2编码器提取语言对齐的语义特征
- 结合DINOv3编码器捕获几何感知的空间特征
- 通过交叉注意力机制融合两种特征表示
python复制# 特征融合伪代码示例
Q = H_geo @ W_Q # 几何特征作为查询
K = H_sem @ W_K # 语义特征作为键值
V = H_sem @ W_V
Z_syn = softmax(QK^T/√d_k) @ V # 协同表示
1.2.2 非对称的编码-解码策略
- 编码阶段:保持视觉特征的连续性,使用SigLIP-2提取高保真图像嵌入
- 解码阶段:将视觉token视为预测目标,通过交叉熵损失进行直接监督
这
