1. 视觉语言模型的核心问题解析
视觉语言模型（VLM）作为当前AI领域的热门研究方向，旨在通过结合视觉编码器和大语言模型（LLM）的能力来实现多模态理解。然而，这项研究揭示了一个令人震惊的现象：当面对纯粹依赖视觉信息的任务时，VLM的表现竟然会跌至接近随机猜测的水平，而其内置的视觉编码器单独测试时却能达到接近完美的准确率。
1.1 视觉与语言融合的困境
VLM的标准架构通常包含三个关键组件：
- 视觉编码器（如DINOv2、CLIP等）：负责将图像转换为视觉特征表示
- 投影层（Projector）：将视觉特征映射到语言模型的空间
- 大语言模型（如Vicuna）：处理语言理解和生成
研究发现，在这种架构中，视觉信息在通过投影层进入语言模型后似乎"消失"了。例如在深度估计任务中：
- 单独测试DINOv2视觉编码器时准确率达到88.7%
- 但整个VLM系统的准确率却骤降至接近随机水平（25%左右）
关键发现：VLM在回答问题时，其答案分布与完全不看图像时的"盲答"分布高度相似，说明模型很大程度上忽略了视觉输入，而主要依赖语言模型的先验知识。
1.2 评估基准设计
为了准确评估VLM的视觉理解能力，研究团队精心设计了一系列"以视觉为中心"的任务，这些任务的特点是：
- 完全依赖视觉信息即可解决
- 不需要任何领域专业知识
- 排除了语言知识可能带来的干扰
主要测试任务包括：
- 深度估计：判断两个物体哪个离相机更近
- 特征匹配：
- 语义对应（不同物体的相同部位）
- 功能对应（不同物体的相同功能部位）
- 底层匹配（相同场景的不同视角）
- 3D物体感知：识别包含不同物体的图像
- 艺术风格匹配：基于视觉特征而非艺术史知识
2. 实验设计与关键发现
2.1 视觉编码器对比测试
研究测试了四种主流视觉编码器在不同任务上的表现：
| 编码器类型 | 训练方式 | 深度估计 | 语义对应 | 功能对应 | 底层匹配 | 3D感知 | 艺术风格 |
|---|---|---|---|---|---|---|---|
| DINOv2 L/14 | 自监督 | 88.7% | 85.2% | 82.1% | 90.3% | 89.5% | 78.4% |
| ViT-IN1k L/16 | ImageNet监督 | 76.3% | 72.8% | 70.5% | 75.1% | 77.2% | 65.7% |
| CLIP L/14 | 视觉-语言对比 | 68.9% | 65.4% | 63.2% | 67.8% | 69.1% | 72.5% |
| SigLIP L/14 | 视觉-语言对比 | 70.2% | 66.7% | 64.3% | 69.1% | 70.3% | 73.8% |
从结果可以看出：
- 自监督训练的DINOv2在大多数任务上表现最优
- 监督训练的ViT-IN1k次之
- 视觉-语言对比训练的CLIP/SigLIP在艺术风格任务上表现较好
2.2 VLM性能骤降现象
当将这些视觉编码器整合到VLM中后，观察到了几个关键现象：
-
性能普遍下降：
- 底层匹配任务：从90.3%降至44.8%（下降45.5%）
- 深度估计：从88.7%降至67.0%（下降21.7%）
- 艺术风格：从78.4%降至53.2%（下降25.2%）
-
编码器排名变化：
- 直接测试时DINOv2表现最好
- 但在VLM中，CLIP/SigLIP的相对表现更好
- 说明VLM框架改变了不同编码器的相对优势
-
盲答相似性：
- VLM在有图像输入和无图像输入时的答案分布高度相似
- 表明模型很大程度上忽略了视觉信息
2.3 视觉信息流向分析
为了理解性能下降的原因，研究团队深入分析了视觉信息在VLM中的流动情况：
-
视觉表征保持完整：
- 通过在各层添加探测分类器发现
- 视觉信息在投影层和LLM各层中都保持可用
- 说明性能下降不是由于信息丢失
-
最后一层突变：
- 在LLM的最后一层，视觉信号突然衰减
- 特别是DINOv2在物体功能和艺术风格任务中
- 推测LLM最后一层更关注语言生成而非视觉理解
-
注意力模式分析：
- 微调LLM可以改善对视觉区域的注意力
- 原始VLM对视觉关键区域的关注不足
3. 问题诊断与解决方案探索
3.1 三大潜在瓶颈分析
研究团队系统性地排查了VLM性能不佳的三大可能原因：
-
视觉表征退化假设：
- 验证：在各层添加探测分类器
- 结论：视觉信息保持完整，假设不成立
-
提示词敏感性假设：
- 实验：使用提示词微调（Prompt-tuning）
- 结果：性能提升有限（<5%）
- 结论：不是主要瓶颈
-
LLM利用能力假设：
- 实验：分别微调视觉编码器、投影层和LLM
- 结果：微调LLM带来最大提升（最高+32%）
- 结论：LLM利用视觉信息的能力是主要瓶颈
3.2 微调实验对比
研究对比了不同组件的微调效果：
| 微调组件 | 参数量 | 深度估计提升 | 语义对应提升 | 功能对应提升 | 底层匹配提升 |
|---|---|---|---|---|---|
| 视觉编码器 | 16.7M | +3.2% | +2.8% | +3.5% | +2.1% |
| 投影层 | 16.7M | +5.7% | +4.3% | +6.1% | +3.8% |
| LLM | 16.7M | +18.5% | +22.7% | +25.3% | +31.8% |
关键发现：
- 微调LLM效果显著优于其他组件
- 特别是在需要精细视觉理解的任务上（如特征匹配）
- 说明LLM默认不擅长利用视觉信息
3.3 语言先验偏差问题
研究发现VLM存在严重的语言先验偏差：
-
答案分布分析：
- VLM倾向于选择语言模型中高频的答案选项
- 即使这些选项与视觉证据矛盾
-
微调改善：
- 微调LLM可以显著降低这种偏差
- 使模型更关注视觉证据
-
残余问题：
- 即使经过微调，偏差仍部分存在
- 说明完全消除语言先验具有挑战性
4. 对VLM研究的启示
4.1 重新审视评估方法
这项研究对VLM评估提出了重要警示：
-
区分两类评估：
- 基于知识的任务：测试LLM知识+视觉理解
- 纯视觉任务：测试视觉理解能力
-
谨慎解读结果：
- VLM在纯视觉任务上表现差，不一定说明视觉编码器差
- 可能是LLM无法有效利用视觉信息
-
评估策略建议：
- 重要视觉任务应同时测试单独编码器和完整VLM
- 关注两者之间的性能差距
4.2 未来改进方向
基于研究发现，提出了几个关键改进方向：
-
LLM架构改进：
- 开发更擅长处理视觉信息的LLM
- 可能需要专门的注意力机制
-
训练目标优化：
- 当前训练可能过度强调语言流畅性
- 需要加强视觉-语言对齐目标
-
投影层设计：
- 现有简单线性投影可能不足
- 探索更复杂的跨模态映射方式
-
评估基准扩展：
- 建立更全面的纯视觉任务集
- 更好诊断VLM的视觉理解能力
这项研究揭示了当前VLM架构在视觉理解方面的根本局限，为未来改进提供了明确方向。关键在于，不能简单假设强大的视觉编码器加上强大的LLM就会自动产生良好的多模态理解能力，两者之间的信息融合机制需要专门设计和优化。