视频生成模型演进：从视觉合成到世界模拟

1. 视频生成模型作为世界模型的机制视角

在人工智能领域，视频生成模型正逐渐展现出超越简单视觉合成的潜力，向着"世界模型"的方向演进。这一转变的核心在于模型如何构建和维持对环境的内部表征，以及如何模拟其动态变化。2026年1月，来自港科大（广州）、同济大学和快手公司的研究团队发表了一篇开创性论文，系统性地探讨了这一主题。

1.1 世界模型的基本构成要素

世界模型的概念源于认知科学和控制理论，其核心包含三个相互关联的组成部分：

• 观测(O_t)：来自环境的原始感知数据，在视频模型中表现为像素级的视频帧
• 状态(S_t)：对环境的内部表征，从观测历史中提炼出的抽象概念
• 动态：描述状态如何随时间演变的规律，通常表示为S_{t+1}=f(S_t,A_t)

这种三元组结构使得系统能够进行内部模拟，预测不同动作可能导致的后果，而无需实际执行这些动作。从控制理论的角度看，这与状态空间表示法高度一致，其中系统的行为通过一组核心变量和微分方程来描述。

关键理解：世界模型的本质是将高维、冗余的观测数据压缩为紧凑的状态表示，并通过学习到的动态规律进行预测。这种压缩和预测能力是实现有效世界模拟的基础。

1.2 视频生成模型的演进挑战

当前主流视频生成模型（如基于Transformer或扩散模型的架构）与经典世界模型理论之间存在显著差距，主要体现在：

1. 状态表示不足：大多数视频模型缺乏显式的、压缩的状态表示，而是直接将观测历史O_1:t作为隐状态
2. 动态建模局限：现有模型更擅长"渲染"固定时长的视频片段，而非进行严格因果的时间预测
3. 评估标准偏差：传统指标侧重视觉保真度，而忽视了物理一致性和因果推理能力

这些差距限制了视频模型作为世界模拟器的有效性，特别是在需要长期一致性和因果推理的场景中。

2. 状态构建：从隐式管理到显式表征

2.1 隐式状态：记忆机制范式

隐式状态构建不直接维护显式的状态变量，而是通过管理观测历史来实现状态功能。这种方法包含三个关键操作原语：

2.1.1 压缩机制

面对视频数据的高冗余性，压缩机制通过两种主要方式减少计算负担：

• 动态压缩：根据内容相似性或注意力得分实时合并token
  • 示例：VidToMe