1. 项目概述:策略引导探索(SGE)方法解析
在强化学习(RL)与智能体(Agent)结合的领域中,我们经常遇到一个棘手问题:模型在训练过程中难以突破既有能力边界。最近一篇论文提出的策略引导探索(Strategy-Guided Exploration,SGE)方法,通过创新性地引入自然语言策略空间,成功将编程任务的一次通过率从基座模型的69%提升至73%。这个提升看似不大,实则突破了传统RL训练的"精炼瓶颈"——模型不再只是优化已有行为,而是真正学会了基座版本无法完成的新技能。
传统RL训练存在一个根本性矛盾:预训练模型的策略分布高度集中在它已经掌握的输出模式上。就像一位只会用锤子的工匠,无论怎样训练都只会把各种问题当成钉子来处理。RL训练本质上只是在反复打磨模型已有的"锤法",却无法让它主动发现螺丝刀的存在。SGE的核心突破在于将探索过程从动作空间转移到语言策略空间,通过"先思考再行动"的机制,让模型在更高抽象层面进行有效探索。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题:为什么RL训练中的探索会失效?
2.1 POMDP框架下的Agent任务建模
论文将Agent任务形式化为部分可观测马尔可夫决策过程(POMDP),包含五个关键要素:
- 目标空间G:自然语言描述的任务要求
- 观测空间O:环境反馈的可观测信息
- 动作空间A:Agent可执行的操作集合
- 转移函数T:动作导致的状态转换规律
- 奖励模型R:回合结束时给出的稀疏奖励信号
在这种设定下,大型语言模型(LLM)策略的工作流程是:接收目标和当前观测→生成推理过程→输出动作→获得新观测,循环直至回合结束。这种架构在理论上可行,但实践中遇到了探索效率低下的瓶颈。
2.2 探索失效的深层原因
导致探索失效的根本原因有三方面:
-
策略分布集中化:预训练模型在大量数据上学习到的行为模式已经形成强先验,RL训练难以突破这种先验分布。就像习惯右手写字的人,即使用左手写字可能获得更高奖励,也很难自发尝试这种改变。
-
稀疏奖励困境:仅在回合结束时提供奖励,使得模型难以通过试错建立"动作-结果"的因果关系。在编程任务中,一个早期错误可能导致最终失败,但模型无法知道具体哪一步出了问题。
-
动作空间离散性:与连续动作空间不同,语言模型输出的离散token空间存在"悬
