MDP 与 Bellman 方程

MDP (马尔可夫决策过程, Markov Decision Process) 是序列决策问题的数学模型,由五元组 $(S, A, P, R, \gamma)$ 定义:$S$ 状态集、$A$ 动作集、$P(s'|s,a)$ 状态转移概率、$R(s,a)$ 立即奖励、$\gamma \in [0,1)$ 折扣因子。Bellman 最优方程刻画最优值函数的自洽性 (最优子结构): $V^*(s) = \max_a \left[ r(s,a) + \gamma \sum_{s'} P(s'|s,a) V^*(s') \right]$,其中 $r(s,a)$ 是立即奖励, $\max_a$ 在所有动作中取最优, $\sum_{s'} P(s'|s,a) V^*(s')$ 是按转移概率加权的后继状态期望值, $\gamma$ 对未来收益折现。对应的 Q 版本: $Q^*(s,a) = r(s,a) + \gamma \sum_{s'} P(s'|s,a) \max_{a'} Q^*(s',a')$, 其中 $\max_{a'} Q^*(s',a')$ 是下一状态的最优期望值;两者通过 $V^*(s) = \max_a Q^*(s,a)$ 互换。

一切强化学习问题的建模起点——机器人控制、游戏 AI、推荐系统、以及 LLM 推理强化 (RLVR) 都把决策写成 MDP;面试必问五元组、$\gamma$ 的作用、Bellman 方程的推导与 V/Q 两种形式。

把带长期后果的序贯决策形式化为可计算的动态规划问题——Bellman 方程把"全局最优"拆成"当前动作 + 最优子结构",使 $V^*$ 成为压缩算子 $T$ 的不动点 $V^* = TV^*$, 从而可被 VI/PI/TD/Q-learning 等迭代算法逼近, 是所有 RL 算法共享的理论基石。

写出 MDP 五元组并逐项解释?折扣因子 γ 的作用是什么?

手推并完整写出 Bellman 最优方程的 V* 与 Q* 形式,逐项解释每个符号的含义?

V* 与 Q* 的关系?为什么说 Bellman 方程体现了"最优子结构"?

Bellman 期望方程与最优方程的区别?给定策略 π 的 Vπ 如何定义?

为什么 γ < 1 能保证值函数有界且迭代收敛?γ = 1 或 γ = 0 时各有什么问题?