多模态大模型的空间超感知：从语义理解到预测性感知

1. 多模态大模型的新范式：从语义理解到空间超感知

去年11月，纽约大学谢赛宁团队与李飞飞、Yann LeCun等学者联合发布的Cambrian-S项目，为多模态大模型的发展开辟了一条全新路径。这个项目不仅提出了"空间超感知"（Spatial Supersensing）的前沿概念，更通过VSI-Super基准测试和预测性感知（predictive sensing）框架，揭示了当前多模态模型的根本性局限。

传统多模态大模型主要停留在语义感知层面，擅长将像素解析为对象、属性和关系，实现"看图说话"这类任务。但人类对世界的理解远不止于此——我们能轻松判断物体的三维位置关系，预测下一秒可能发生的场景变化，甚至在复杂环境中持续追踪目标状态。这些能力正是Cambrian-S试图赋予AI的"超感知"特质。

2. 空间超感知的四层能力演进

2.1 现有模型的语义感知局限

当前主流多模态模型（如GPT-4V、Gemini）的能力集中在语义层面。它们可以准确描述图像内容，但在面对视频流时，往往只能进行离散的帧分析，缺乏对连续时空关系的理解。例如在观看足球比赛时，模型能识别"球员A在射门"，但无法像人类那样预判球路走向或球员的跑位意图。

2.2 流式事件认知的工程挑战

部分先进模型开始尝试处理实时视频流，但这类实现多依赖工程技巧——通过滑动窗口或记忆机制强行扩展上下文长度。这就像用望远镜观察星空时不断移动镜筒，而非真正建立天体运行的内在模型。Cambrian-S团队发现，即使Gemini-2.5的上下文窗口扩展到百万token量级，面对两小时长的测试视频仍会达到处理极限。

2.3 隐式3D认知的突破方向

真正的空间理解需要模型将2D视频帧重建为3D场景的心理表征。人类观看监控摄像头画面时，能自动脑补被遮挡区域的布局，这种能力依赖于对空间关系的隐式建模。Cambrian-S通过特殊设计的VSI-Super基准测试发现，现有模型在"持续计数"任务中表现糟糕——当要求统计视频里出现的所有椅子数量时，模型输出往往停滞在某个固定数值，无法像人类那样动态累加。

2.4 预测性世界建模的神经科学启示

最前沿的预测性感知借鉴了大脑的"无意识推理"机制。当我们走进房间时，视觉系统会提前预测可能看到的家具布局，这种预测误差（即实际所见与预期的差异）会