1. 当AI的视觉推理能力不如6岁儿童:BabyVision研究揭示的深层困境
作为一名长期关注AI发展的技术从业者,最近看到UniPat AI团队发布的BabyVision评估框架结果时,我感到既惊讶又困惑。我们引以为傲的多模态大模型(MLLM),在视觉推理这项基础能力上,竟然落后于人类幼童的发展水平。这不禁让我思考:在追求模型参数规模和语言能力的道路上,我们是否忽略了某些更本质的东西?
BabyVision测试中最令人震惊的发现是,当前最先进的Gemini3-Pro-Preview模型在视觉推理任务上的表现仅为49.7%,而成年人类平均得分高达94.1%。更令人不安的是,大多数前沿模型的表现甚至低于3岁儿童的平均水平。这种差距不是体现在复杂的数学推导或知识问答上,而是出现在"数积木块"、"走迷宫"这类看似简单的视觉任务中。
关键发现:AI在需要连续视觉追踪的任务上表现最差,如"数3D积木"任务中最佳模型准确率仅20.5%,远低于人类儿童水平。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. BabyVision评估框架的设计原理
2.1 为什么需要专门的视觉评估基准
现有的AI评估体系存在一个根本性问题——它们大多建立在语言能力的基础上。即使是以视觉为核心的任务,如图像分类或目标检测,最终也通过语言标签来评估。这种评估方式掩盖了一个关键事实:模型可能是通过"语言捷径"而非真正的视觉理解来解决问题。
BabyVision团队从发展心理学获得启发,设计了完全不同的评估范式。他们精心挑选了388个视觉问题,涵盖四大核心能力:
- 细粒度区分:类似"大家来找茬"的游戏,测试模型对微小视觉差异的敏感度
- 视觉追踪:评估模型在物体移动、遮挡或线条交错时保持连续追踪的能力
- 空间感知:考察对2D/3D结构和位置关系的理解,如被遮挡物体的空间推理
- 模式识别:测试从多个实例中抽象出几何或逻辑规则的能力
2.2 评估任务的典型示例
以"数3D积木"任务为例,人类儿童可以轻松通过部分可见的边缘推断被遮挡的积木数量,而AI模型却表现得极其困难。另一个典型案例是"迷宫路径追踪",人类可以自然地保持对路径的连续注意力,而AI模型经常在交叉点"跟丢"路线。
这些任务的设计精妙之处在于:
- 避免依赖先验知识
- 最小化语言中介作用
