2025_NIPS_WorldModelBench：视频生成模型评估新范式

1. 项目背景与核心价值

2025_NIPS_WorldModelBench这个项目名称已经透露了三个关键信息点：时间节点（2025）、学术会议（NIPS/NeurIPS）以及核心目标（评估视频生成模型作为世界模型的能力）。作为计算机视觉和生成模型领域的研究者，我第一时间意识到这可能是下一代视频生成模型的评估范式革命。

传统视频生成模型的评估长期受困于几个痛点：

• 现有指标（如FVD、PSNR）过度关注像素级相似度，忽视了物理合理性
• 缺乏对模型"理解世界运作规律"能力的系统测试
• 评估场景过于简单，难以反映真实世界的复杂性

这个基准测试的出现，标志着领域开始从"生成好看的视频"向"构建可推理的物理世界模拟器"转变。去年我在构建工业场景的视频预测系统时，就深刻体会到现有评估体系与实用需求的脱节——一个在FVD指标上表现优秀的模型，可能会预测出违反物理规律的设备运动轨迹。

2. 世界模型的核心能力维度

2.1 物理规律建模能力

真正的世界模型必须掌握基础物理规律。在我们的实验中，发现现有视频生成模型存在这些典型缺陷：

• 物体碰撞时会出现穿透现象
• 流体运动不符合纳维-斯托克斯方程
• 光影变化不遵循能量守恒定律

测试方案建议：

1. 设计包含弹性碰撞、流体交互等场景的测试序列
2. 使用物理引擎生成ground truth
3. 量化评估指标应包含：
   • 动量守恒误差
   • 刚体形变度
   • 流体扩散一致性

2.2 长程因果关系理解

现有模型在短期预测（<1秒）表现尚可，但长程预测往往崩溃。我们开发了一套因果链测试集：

• 初始状态：装满水的玻璃杯放在桌边
• 中间事件：猫跳上桌子
• 预期结果：杯子跌落破碎
• 错误模式：杯子悬浮或猫穿过杯子

评估关键点：

• 事件链完整度（Event Chain Accuracy）
• 因果合理性评分（由人类评估者打分）
• 反事实推理能力（如果猫没有跳上桌子...）

3. 基准测试构建实践

3.1 测试场景设计原则

基于过去三年参与VideoGPT和Phenaki等项目的经验，我总结出有效测试场景的四个特征：

1. 组合性（Compositional）

   • 同时包含多个交互物体
   • 示例：台球桌上多个球的连续碰撞

2. 随