策略梯度 REINFORCE

策略梯度定理给出目标 $J(\theta)=\mathbb{E}_{\tau}[R(\tau)]$ 对参数 $\theta$ 的无模型梯度,核心是 Log-Derivative Trick 与期望形式 $\nabla_\theta J = \mathbb{E}_{\tau}[\sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) G_t]$。推导链:

1. 对目标求导并乘除 $\pi_\theta(\tau)$:$\nabla_\theta J = \nabla_\theta\int \pi_\theta(\tau)R(\tau)\,d\tau = \int \pi_\theta(\tau)\frac{\nabla_\theta \pi_\theta(\tau)}{\pi_\theta(\tau)}R(\tau)\,d\tau = \mathbb{E}_{\tau}[\nabla_\theta \log \pi_\theta(\tau) R(\tau)]$,其中 Log-Derivative Trick 为 $\nabla_\theta \log \pi_\theta(a|s) = \frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)}$(把对概率求导转为对对数概率求导,期望仍无偏); 2. 分解轨迹 $\pi_\theta(\tau) = \mu(s_0)\prod_t \pi_\theta(a_t|s_t)P(s_{t+1}|s_t,a_t)$ 并取对数:动力学项 $\mu, P$ 不含 $\theta$,求导后消去,只剩 $\sum_t \nabla_\theta \log \pi_\theta(a_t|s_t)$ —— 这就是“无需模型、状态分布不可导也能更新”的关键; 3. 因果性:动作 $a_t$ 只影响未来回报,把整段回报换成 reward-to-go $G_t = \sum_{k\ge t}\gamma^{k-t}r_k$(方差更低),得到期望形式,即 REINFORCE 的更新量 $\theta \leftarrow \theta + \eta \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) G_t$。

回合式任务(需完整轨迹、MC 风格)、连续动作空间;REINFORCE 是最简实现,GRPO/RLHF 的组内相对更新也以其为出发点。

直接对概率求导困难,且整段回报估计方差极大。引入基线 $b(s)$ 得 $\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta(a|s)(G_t - b(s))]$。基线无偏性证明:$\mathbb{E}[\nabla_\theta \log \pi_\theta(a|s) b(s)] = b(s)\sum_a \pi_\theta(a|s)\frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)} = b(s)\nabla_\theta\sum_a \pi_\theta(a|s) = b(s)\nabla_\theta 1 = 0$,即减基线不改变梯度期望(无偏),只抵消与动作无关的方差分量;取 $b(s) = V(s)$ 即优势形式,催生 Actor-Critic;步长敏感性则催生 TRPO/PPO。

检验攻克程度：针对「策略梯度 REINFORCE」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。