Actor-Critic 框架

Actor-Critic 由 Actor(策略网络 $\pi_\theta(a|s)$,负责产生动作)与 Critic(价值网络 $V_w(s)$,负责评估状态)组成:策略梯度方向上更新 Actor,Critic 提供价值基线与优势估计降方差。核心公式:

推导链: 1. 从策略梯度定理出发,用 $Q^{\pi}(s,a) = r + \gamma V^{\pi}(s')$ 代入优势并移项,得一步 TD 误差形式:$\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta(a|s)\underbrace{(r + \gamma V_w(s') - V_w(s))}_{\delta_{TD}}]$ —— 用单步自举的 TD 误差充当优势估计; 2. Critic 以最小二乘拟合价值:$L(w) = \mathbb{E}[(r + \gamma V_w(s') - V_w(s))^2]$,$\nabla_w L = -2\mathbb{E}[\delta_{TD}\nabla_w V_w(s)]$(TD(0):有偏低方差,因自举); 3. 推广到 TD($\lambda$)/GAE:$A_t = \sum_{l=0}^{\infty}(\gamma\lambda)^l\delta_{t+l}$,$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$。$\lambda=0$ 即纯 TD 优势(低方差高偏差),$\lambda=1$ 即 MC 优势(高方差低偏差),$0<\lambda<1$ 折中;GAE 是 PPO/RLHF 的标准配置; 4. Actor 更新:$\theta \leftarrow \theta + \eta \nabla_\theta \log \pi_\theta(a_t|s_t)\hat{A}_t$。基线无偏性同策略梯度:$\mathbb{E}[\nabla_\theta \log \pi \cdot V(s)] = 0$,减基线不改期望只降方差。

在线(on-policy)与离策略算法的通用骨架——A2C/A3C、PPO、SAC、TD3、GRPO(以组内相对奖励替代 Critic)都是 Actor-Critic 的变体。

REINFORCE 用整段回报、方差高,且只学策略不学价值。Critic 提供 $V(s)$ 基线,在不改变梯度期望的前提下抵消与状态相关的高方差分量,并给出信用分配(评估每一步动作的相对优劣 $A(s,a)$);Actor 与 Critic 交替更新、互为监督信号,是深度 RL 最重要的框架。

写出优势函数 A(s,a)=Q(s,a)−V(s),说明为何用优势而非 Q 或奖励本身更新策略?

白板手推: 从策略梯度定理推导 Actor 的 TD 误差更新方向,并证明价值基线 V(s) 无偏?

Critic 的损失 L=E[(r+γV(s')−V(s))²] 如何得到?TD(λ)/GAE 如何折中偏差与方差?

Actor-Critic 相比 REINFORCE 改进在哪?方差为何更低、可在线训练?

A2C/A3C、PPO、SAC、GRPO 如何复用 Actor-Critic 骨架?各做了哪些改动?