RLVR-World：强化学习驱动的跨模态世界模型训练框架

1. RLVR-World框架概述

RLVR-World是一种创新的强化学习框架，专门用于训练世界模型（World Models）。这个框架的核心思想是将可验证奖励机制（Verifiable Rewards）直接整合到世界模型的训练过程中，从而解决传统最大似然估计（MLE）训练目标与实际应用需求之间的不对齐问题。

在传统世界模型训练中，MLE目标函数通常追求的是预测分布与真实分布之间的相似度最大化。然而，这种优化目标往往无法直接反映模型在实际应用场景中的表现需求。例如，在视频预测任务中，MLE训练可能导致预测结果模糊；在语言模型中，则可能出现重复生成或幻觉问题。

RLVR-World通过引入可验证奖励机制，将任务特定的预测指标直接作为优化目标。这种方法使得模型训练能够更加精准地针对最终应用场景的需求进行优化。框架包含三个关键组成部分：统一的世界模型表示方法、可验证奖励机制设计，以及基于GRPO（Group Relative Policy Optimization）的强化学习算法。

2. 核心方法论解析

2.1 统一的世界模型表示

RLVR-World采用了一种通用的自回归生成框架来表示跨模态的世界模型。这种表示方法将当前状态s和行动a编码为"问题"token序列q(s,a)，而将下一状态s'编码为"回答"token序列o(s')。这种编码方式借鉴了语言模型的formulation，但通过特定的tokenization方案扩展到多种模态：

• 文本：使用标准文本tokenizer
• 图像和视频：使用learned visual tokenizers
• 低维连续值：通过quantization离散化

这种统一的表示方法使得RLVR-World能够处理多种类型的数据模态，为跨模态的世界建模提供了基础。模型首先通过MLE进行预训练，优化目标是最大化预测token序列的对数似然：

J_{MLE}(θ) = log p_θ(o(s')|q(s,a)) = ∑{t=1}^{|o(s')|} log p_θ(o_t(s')|q(s,a),o(s'))

2.2 可验证奖励机制

在MLE预训练之后，RLVR-World引入了可验证奖励机制进行后训练（post-training）。这一过程包含以下几个关键步骤：

1. 采