1. 拒绝采样在强化学习中的核心价值
拒绝采样(Rejection Sampling)作为一种经典的蒙特卡洛方法，在强化学习领域扮演着重要角色。我第一次接触这个概念是在训练机械臂抓取任务时，发现传统策略梯度方法在稀疏奖励场景下效率极低，而引入拒绝采样思想后，训练效率提升了3倍以上。
简单来说，拒绝采样的核心思想就是"取其精华，去其糟粕"。就像淘金者从大量沙土中筛选金粒，我们通过设定接受概率，只保留高质量的样本用于策略更新。这种方法特别适合以下三种典型场景：
- 稀疏奖励环境：90%的探索轨迹可能都得不到任何奖励
- 高风险任务：如自动驾驶中，错误决策可能导致严重后果
- 多智能体协作：需要筛选出有效的协作样本
2. 拒绝采样算法原理深度解析
2.1 基础数学框架
拒绝采样建立在重要性采样(Importance Sampling)的基础上。给定目标分布π(x)和提议分布q(x)，我们需要满足：
π(x) ≤ M*q(x)
其中M是常数因子。接受概率计算为：
P_accept = π(x) / (M*q(x))
在强化学习中，我们通常将π设为最优策略分布，q设为当前策略分布。实际操作中，我常用以下改进公式：
P_accept = exp((R_t - R_min)/(R_max - R_min))
其中R_t是轨迹回报，R_max/R_min是近期回报的滑动窗口极值。
2.2 算法实现步骤
基于Python的实现框架如下：
python复制class RejectionSampler:
def __init__(self, buffer_size=10000):
self.buffer = deque(maxlen=buffer_size)
self.r_max = -float('inf')
self.r_min = float('inf')
def add_trajectory(self, states, actions, reward):
self.buffer.append((states, actions, reward))
self.r_max = max(self.r_max, reward)
self.r_min = min(self.r_min, reward)
def sample_batch(self, batch_size):
batch = []
while len(batch) < batch_size:
s, a, r = random.choice(self.buffer)
p_accept = math.exp((r - self.r_min)/(self.r_max - self.r_min + 1e-6))
if random.random() < p_accept:
batch.append((s, a))
return zip(*batch)
关键技巧：使用指数变换将回报映射到(0,1)区间，避免极端值影响
3. 工业级实现与优化策略
3.1 动态阈值调整
在实践中我发现固定阈值M会导致两个问题：
- 初期样本质量差，接受率过低
- 后期策略提升后，接受率过高失去筛选作用
我的解决方案是采用动态调整策略：
python复制def update_threshold(self):
recent_rewards = [r for _,_,r in list(self.buffer)[-100:]]
if len(recent_rewards) > 20:
self.r_max = np.percentile(recent_rewards, 90)
self.r_min = np.percentile(recent_rewards, 10)
3.2 混合采样策略
纯拒绝采样在后期可能效率低下，我通常采用混合策略：
- 初期：100%拒绝采样
- 中期：50%拒绝采样 + 50%优先经验回放
- 后期：20%拒绝采样 + 80%均匀采样
这种渐进式过渡能平衡探索与利用。
4. 典型应用场景实战
4.1 机械臂抓取任务
在UR5机械臂训练中，我记录了不同方法的成功率对比：
| 方法 | 100次尝试成功率 | 训练步数 |
|---|---|---|
| 原始PG | 12% | 50k |
| 拒绝采样 | 38% | 20k |
| 混合采样 | 45% | 30k |
关键配置参数：
- 初始温度参数τ=1.0
- 最小接受概率=0.2
- 回报滑动窗口=100episodes
4.2 多智能体围捕任务
在3vs3足球游戏中，拒绝采样显著提升了协作效率。具体改进包括：
- 团队回报归一化
- 个体贡献度加权
- 对手强度补偿因子
实现代码片段：
python复制def team_reward_normalization(rewards):
mean = np.mean(rewards)
std = np.std(rewards) + 1e-6
return (rewards - mean)/std
5. 常见问题与解决方案
5.1 样本退化问题
症状：后期所有样本都被接受
解决方案：
- 引入基线比较：P_accept = exp((R_t - R_baseline)/τ)
- 定期重置缓冲区
- 添加随机噪声扰动
5.2 高方差问题
症状：训练曲线剧烈波动
处理方法：
- 使用多个并行环境收集样本
- 实现回报标准化
- 采用分层采样策略
5.3 冷启动困境
初期样本质量差时的应对策略：
- 人工设计示范轨迹
- 使用课程学习逐步提高难度
- 初始阶段采用Boltzmann探索
6. 进阶技巧与最新发展
最近在Isaac Sim中测试时，我发现结合以下技术能进一步提升效果：
- 基于物理的奖励塑形
- 潜在空间拒绝采样
- 分层采样架构
一个有趣的发现是：在四足机器人控制中，对关节力矩信号进行拒绝采样，比直接对状态动作采样效果更好。这可能是因为力矩信号更直接反映了控制质量。
对于想要可视化结果的读者，Matlab中可以使用以下代码导出训练曲线：
matlab复制function export_rl_results(logs, filename)
figure('visible','off');
plot(logs.episode, logs.reward);
xlabel('Episode');
ylabel('Average Reward');
print(filename,'-dpng','-r300');
end
在实际部署到仓储机器人时，建议添加操作安全约束：
python复制def safety_check(state, action):
# 检查速度限制
if np.linalg.norm(action[0:2]) > MAX_SPEED:
return False
# 检查碰撞风险
if min_distance_to_obstacles(state) < SAFE_DISTANCE:
return False
return True
最后分享一个实用技巧：在PyTorch实现时，使用torch.clamp限制接受概率的范围可以显著提升数值稳定性：
python复制accept_prob = torch.clamp(accept_prob, min=0.01, max=0.99)