RAPO框架：革新Agentic RL探索效率的检索增强方案

1. RAPO框架：突破Agentic RL探索瓶颈的革命性方案

在强化学习领域，Agentic RL（基于智能体的强化学习）一直是实现复杂任务自动化的关键技术。然而，传统方法长期受限于两大核心问题：探索效率低下和训练过程不稳定。复旦大学、浙江大学和加州大学戴维斯分校联合研发的RAPO（Retrieval-Augmented Policy Optimization）框架，通过创新的检索增强机制，成功解决了这些痛点。

RAPO的核心价值在于它重新定义了Agent的探索方式。不同于传统方法让Agent在自身生成的有限轨迹中反复试错，RAPO通过引入外部高质量推理轨迹，显著扩展了Agent的探索空间。这种设计使得Agent能够在每一步推理时都能参考其他优秀Agent的经验，从而快速突破自身能力边界。

提示：RAPO的创新之处在于它实现了"集体学习"而非"独自试错"，这种范式转变对提升大模型Agent的性能和训练效率具有深远意义。

2. RAPO技术架构深度解析

2.1 混合策略Agent Rollout：动态融合内外经验

RAPO的第一阶段采用混合策略设计，巧妙地将外部经验融入Agent的推理过程。这个阶段的核心组件是步级轨迹缓冲区（Step-Trace Buffer），它不同于传统的轨迹级回放缓冲区，而是将高质量推理轨迹拆解为细粒度的步级片段。

在实际操作中，这个缓冲区以键值对形式存储数据：

• 键：推理历史上下文
• 值：当前步推理轨迹

这种设计使得Agent能够在每一步推理时，根据当前上下文精准检索最相关的外部经验。具体实现时，系统会以50%的概率决定是否进行检索，确保Agent既能吸收外部经验，又能发展自身推理能力。

2.2 检索感知策略优化：稳定训练的关键设计

引入外部检索信息虽然能扩展探索空间，但也会带来训练噪声。RAPO的第二阶段通过两个创新机制确保训练稳定性：

1. 检索奖励机制：

   • 基于熵值量化检索价值
   • 评估两个维度：检索质量（降低推理不确定性的程度）和检索时机（是否在高不确定性阶段触发）
   • 只有有效降低不确定性的检索才会获得高奖励

2. 检索重要性塑形：

   • 通过调整GRPO的重要性采样比
   • 重点关注"异策略条件下生成的同策略token"