1. Actor-Critic算法：当策略梯度遇上价值评估
2016年AlphaGo击败李世石的那场世纪对决中，除了广为人知的蒙特卡洛树搜索，后台还运行着一套更通用的学习框架——这正是我们今天要讨论的Actor-Critic（演员-评论家）算法。作为强化学习领域的"瑞士军刀"，它巧妙融合了策略梯度（Policy Gradient）和价值函数（Value Function）两大流派，既能像演员一样自主决策，又能像评论家一样评估选择。我在实际机器人控制项目中多次验证过，相比纯策略梯度方法，AC算法通常能减少30%-50%的训练波动。
2. 算法架构的双子系统解析
2.1 Actor网络：策略的具现化
Actor本质上是一个参数化的策略函数πθ(a|s)，它接收环境状态s，输出动作a的概率分布。在PyTorch实现中，通常用包含两个全连接层的网络（隐藏层约128-256个神经元）加上Softmax输出层。关键细节在于：
python复制class Actor(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 128)
self.fc2 = nn.Linear(128, action_dim)
def forward(self, state):
x = F.relu(self.fc1(state))
return F.softmax(self.fc2(x), dim=-1)
经验提示：Actor网络的最后一层切忌使用ReLU等可能产生零梯度的激活函数，这会导致策略更新停滞。我在某次机械臂控制项目中就因这个细节调试了整整两天。
2.2 Critic网络：价值判断的标尺
Critic学习状态价值函数V(s)，用于评估当前策略的长期收益。其网络结构类似Actor但输出层为线性，因为价值估计的范围不受限。实践中发现：
- 使用Smooth L1 Loss（Huber损失）比MSE对异常值更鲁棒
- 输入最好包含动作信息（这时演变为Q值函数），尤其在连续动作空间
- 学习率通常设为Actor的1/3到1/5，防止价值评估波动过大
3. 核心更新机制剖析
3.1 优势函数：TD误差的进阶应用
原始AC算法直接用TD误差δ作为策略梯度更新信号：
$$δ = r + γV(s') - V(s)$$
但更稳定的做法是采用广义优势估计（GAE）：
$$A_t^{GAE} = Σ(γλ)^l δ_{t+l}$$
其中λ∈[0,1]控制偏差与方差的权衡，机器人控制任务中λ=0.92表现良好。
3.2 策略更新的数学本质
策略梯度定理导出的更新公式：
$$∇_θJ(θ) = E[∇_θlogπ_θ(a|s)A(s,a)]$$
实际实现时需注意：
- 要对轨迹进行标准化处理（减均值除标准差）
- 早停机制很关键，当KL散度超过阈值（如0.01）就停止更新
- 建议添加1e-8的极小值防止log(0)出现
4. 实战中的五大调参经验
4.1 学习率组合策略
在OpenAI Gym的BipedalWalker环境中，经过50次实验验证的最佳配置：
- Actor学习率：3e-4（Adam优化器）
- Critic学习率：1e-4（RMSprop）
- 折扣因子γ：0.99
- 批量大小：64-256之间
4.2 网络架构的隐藏层设计
对于视觉输入任务：
- 先接3层CNN提取空间特征
- 再接LSTM处理时序关系
- 最后分叉为Actor和Critic头
踩坑记录：曾因Actor/Critic共享底层特征导致耦合过紧，表现为Critic过拟合拖累Actor性能。解决方案是前3层共享，后2层独立。
4.3 探索与利用的平衡技巧
- 初始阶段：给策略输出添加高斯噪声（σ=0.3）
- 中期：改用动作熵正则项（系数0.01）
- 后期：完全依赖策略分布
4.4 并行化训练加速
使用SyncVectorEnv创建多个环境实例：
python复制envs = SyncVectorEnv([make_env() for _ in range(8)])
实测8个环境并行可使训练速度提升5-6倍，但要注意：
- 每个环境的随机种子必须不同
- 批量大小要相应扩大
- GPU内存占用会线性增长
4.5 监控与调试技巧
必备的监控指标：
- 平均回合奖励（滑动窗口取20次）
- 价值函数估计误差
- 策略熵值（应缓慢下降）
- 梯度范数（突然增大意味着不稳定）
5. 典型问题排查指南
5.1 奖励不增长的常见原因
- 价值函数过估计：添加目标网络（如同DQN）
- 探索不足：检查噪声是否被意外关闭
- 信用分配问题：尝试改用PPO算法
5.2 训练后期策略震荡
现象：奖励曲线出现锯齿状波动
解决方案：
- 降低Actor学习率至原值1/10
- 增加Critic网络的容量
- 引入策略约束（如TRPO的信任域）
5.3 超参数敏感问题
对于新环境，建议采用贝叶斯优化进行参数搜索：
python复制from skopt import gp_minimize
res = gp_minimize(objective,
[(1e-5,1e-3), (1e-6,1e-4)],
n_calls=30)
6. 进阶优化方向
6.1 分布式AC架构
A3C（Asynchronous Advantage Actor-Critic）的实现要点：
- 每个worker线程维护独立的环境副本
- 定期同步全局网络参数
- 采用Hogwild!无锁更新
6.2 混合连续-离散动作空间
处理如"移动+开火"的复合动作：
- 离散部分用Softmax
- 连续部分用Tanh输出均值，另学习标准差
- 损失函数为两部分加权和
6.3 基于模型的AC扩展
当环境模型可用时：
- 用模型生成虚拟轨迹
- 混合真实与虚拟数据训练
- 模型误差作为正则项
在某个工业机械臂控制项目中，这种方案使样本效率提升了8倍。关键是要动态调整虚实数据比例——开始时100%虚拟，随着训练逐步降低到20%。