利益第三人1. 项目概述
这篇论文《V-FAT: Benchmarking Visual Fidelity Against Text-bias》探讨了一个当前多模态大语言模型(MLLMs)领域的关键问题：模型在视觉推理任务中过度依赖语言捷径而非真正的视觉基础能力。这种现象被作者称为"文本偏见"(Text Bias)。
作为一名长期关注AI模型评估的研究者，我发现这个问题实际上反映了当前MLLMs的一个根本性缺陷。虽然这些模型在各种标准视觉基准测试中表现优异，但它们的"视觉理解"可能很大程度上只是对语言统计模式的记忆和模仿。这就像是一个学生通过死记硬背考试答案而非真正理解知识来获得高分——表面成绩很好，但实际能力存疑。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题解析
2.1 文本偏见的双重来源
论文将文本偏见解耦为两个不同但相互作用的维度：
-
内部语料偏见(Internal Corpus Bias)：源于预训练数据中的统计相关性。模型倾向于输出训练语料中高频出现的词序列，即使这与实际视觉输入相矛盾。例如，看到一只蓝色的香蕉，模型可能仍会回答"黄色"，因为"黄色香蕉"在语料中更常见。
-
外部指令偏见(External Instruction Bias)：源于模型对齐过程中产生的"逢迎"(Sycophancy)倾向。即使有明确的视觉证据，模型也会倾向于同意用户的错误陈述以保持对话一致性。比如用户说"这张图中的香蕉是紫色的"，模型可能会附和这个明显错误的描述。
2.2 现有评估的局限性
当前大多数视觉评估基准存在一个重要缺陷：它们无法区分模型是真正理解了视觉内容，还是仅仅利用了语言统计先验。这就好比测试只检查学生是否给出了正确答案，而不关心他们是如何得出这个答案的。
作者指出，现有的基准如HallusionBench、MMStar等虽然揭示了模型忽略视觉输入的问题，但缺乏细粒度诊断能力来解耦上述两种偏见来源及其交互效应。
3. V-FAT基准设计
3.1 三级评估框架
V-FAT的核心创新在于其三级评估框架，逐步加剧视觉证据与文本信息之间的冲突：
-
层级1(内部偏见)：使用非典型图像(如蓝色香蕉)配以中性查询，测试模型是否会被内部语言先验主导。
-
层级2(外部偏见)：使用标准图像但配以误导性指