1. 强化学习基础与价值函数
在强化学习领域,基于价值的方法是最经典也最实用的技术路线之一。不同于直接学习策略的策略梯度方法,基于价值的方法通过评估状态或状态-动作对的价值来间接推导出最优策略。这种方法的优势在于其数学基础扎实,收敛性有保障,特别适合离散动作空间的问题。
1.1 状态价值与动作价值
状态价值函数V(s)表示从状态s开始,遵循特定策略π所能获得的期望回报。用数学表达式可以写成:
V^π(s) = E_π[G_t | S_t = s]
其中G_t是从时刻t开始的累积回报,通常考虑折扣因子γ:
G_t = R_{t+1} + γR_{t+2} + γ²R_{t+3} + ...
而动作价值函数Q(s,a)则更进一步,评估在状态s下采取动作a的价值:
Q^π(s,a) = E_π[G_t | S_t = s, A_t = a]
关键区别:V函数告诉我们某个状态有多好,而Q函数告诉我们在这个状态下采取某个特定动作有多好。实际应用中,Q函数通常更有用,因为它直接关联到动作选择。
1.2 贝尔曼方程与最优性
这两个价值函数都满足贝尔曼方程,这是强化学习中最核心的数学工具之一。对于V函数:
V^π(s) = Σ_a π(a|s) Σ_{s',r} p(s',r|s,a)[r + γV^π(s')]
最优价值函数V*则满足贝尔曼最优方程:
V*(s) = max_a Σ_{s',r} p(s',r|s,a)[r + γV*(s')]
类似地,Q函数也有对应的贝尔曼方程和最优方程。这些方程不仅提供了理论分析工具,也直接衍生出各种迭代算法。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 动态规划方法
2.1 策略评估与策略改进
动态规划(DP)方法是解决已知环境模型(MDP)情况下的强化学习问题的标准工具。DP方法包含两个核心步骤:
- 策略评估:给定一个策略π,计算其价值函数V^π
- 策略改进:基于当前价值函数,构造一个更好的策略π'
这两个步骤交替进行,就形成了策略迭代算法。在实际实现中,我们常用价值迭代算法,它将策略评估和策略改进合并为一个步骤:
V_{k+1}(s) = max_a Σ_{s',r} p(s',r|s,a)[r + γV_k(s')]
2.2 DP的局限性
尽管DP方法理论完备,但它有两个
