Actor-Critic算法解析：策略梯度与价值函数的融合

1. Actor-Critic算法框架解析

1999年提出的Actor-Critic算法框架，本质上是将策略梯度（Policy Gradient）与价值函数逼近（Value Function Approximation）相结合的混合架构。这个框架的巧妙之处在于同时保留了策略优化的直接性（Actor部分）和价值估计的高效性（Critic部分），从而克服了传统方法的局限性。

1.1 算法核心组件

Actor组件负责策略的参数化表示和更新。与纯策略梯度方法不同，这里的策略更新不是直接依赖轨迹回报，而是利用Critic提供的梯度信号。具体实现时，策略πθ(a|s)通常用神经网络表示，输出动作的概率分布。

Critic组件则专注于价值函数的估计。它通过TD学习或蒙特卡洛方法，评估当前策略的价值函数Qw(s,a)。这个评估过程会持续进行，即使策略参数θ发生变化。在实际实现中，Critic可以采用线性函数逼近器，也可以使用深度神经网络。

关键设计原则：Critic的学习速率通常设置得比Actor更快。这种"双时间尺度"（two-timescale）设计确保了价值函数估计总能及时跟进策略变化，避免两者相互拖累。

1.2 数学基础与假设条件

算法有效性依赖于两个核心假设：

1. 策略可导性假设（A1）：策略πθ(a|s)关于参数θ必须处处可微。这意味着我们需要使用softmax、高斯策略等可导函数表示策略。

2. 状态分布假设（A2）：策略πθ诱导的马尔可夫链必须具有平稳分布dθ(s)。这个假设确保了策略更新时的期望值计算是良定义的。

在这些假设下，性能指标J(θ)的梯度可以表示为：
∇θJ(θ) = E[Qπ(s,a)ψθ(s,a)]
其中ψθ(s,a)=∇θlogπθ(a|s)是策略的特征函数，Qπ(s,a)是状态-动作价值函数。

2. 投影算子与降维技术

2.1 高维到低维的映射

原始Q函数存在于高维的状态-动作空间，直接学习非常困难。算法创新性地引入投影算子Π，将Q函数投影到策略特征空间Ψθ=span{ψθ}这个低维子空间上：
ΠQ = argminf∈Ψθ ||Q - f||dθ

这个投影过程相当于用策略特征ψθ(s,a)的线性组合来近似Q函数，大大降低了学习复杂度。数学上可