强化学习与MDP基础：从理论到实践

1. 强化学习与MDP基础概念

强化学习作为机器学习的重要分支，其核心思想是通过与环境的交互学习最优策略。想象一下训练宠物狗的过程：当它完成指定动作时给予零食奖励（正向强化），做出错误行为时则不予奖励（负向强化）。经过反复训练，狗狗就能学会在特定情境下选择最可能获得奖励的行为方式。这个类比揭示了强化学习的本质——通过试错机制寻找最大化长期回报的行为策略。

马尔可夫决策过程（MDP）为强化学习提供了数学框架。与普通马尔可夫链相比，MDP引入了两个关键要素：

• 动作集合（A）：智能体在每个状态可以采取的行动选项
• 奖励函数（R）：环境对状态-动作组合的即时反馈

典型MDP由五元组(S,A,P,R,γ)定义：

• S：有限状态集合（如棋盘的所有可能布局）
• A：有限动作集合（如棋子的可走位置）
• P：状态转移概率矩阵（P(s'|s,a)表示在状态s执行动作a后转移到s'的概率）
• R：即时奖励函数（R(s,a,s')表示状态转移获得的即时回报）
• γ：折扣因子（0≤γ≤1），用于平衡当前与未来奖励的重要性

实际应用中，γ取值很有讲究：接近1表示重视长期收益（如围棋策略），接近0则侧重即时回报（如高频交易）。通常建议从0.9开始调试。

2. 价值函数与Bellman方程精解

价值函数V(s)是评估状态长期价值的核心工具，其定义为从该状态出发的期望累积回报：

$$G_t = \sum_{k=0}^\infty \gamma^k R_{t+k+1}$$
$$V(s) = \mathbb{E}[G_t | S_t = s]$$

Bellman方程揭示了价值函数的递归特性：

$$V(s) = \mathbb{E}[R_{t+1} + \gamma V(S_{t+1}) | S_t = s]$$

这个看似简单的等式蕴含着动态规划的精髓——当前状态价值等于即时奖励加上折扣后的下一状态价值。以迷宫导航为例：

• 出口相邻格子的V值较高（因为下一步就能获得出口奖励）
• 远离出口的格子V值通过γ^n递减传播
• 墙壁所在格子的V值恒为负（无法产生正向回报）

2.1 策略评估实战步骤

给定固定策略π，通过迭代更新计算V值：

1. 初始化所有V(s)=0
2. 对每个状态s：
   $$V_{new}(s) \leftarrow \