F5HardPart F · 大模型对齐与强化学习

GAE(广义优势估计)

⚡闪卡盲测➔

通过指数加权移动平均在单步 TD 误差(低方差高偏差)与全蒙特卡洛回报(零偏差高方差)之间达成最优权衡。

⏱️ 时间复杂度: O(T) 线性逆向遍历
💾 空间复杂度: O(T)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def compute_gae(
rewards: np.ndarray, # (T,) 时间步奖励
values: np.ndarray, # (T+1,) 包含终止状态预估的价值
gamma: float = 0.99,
lam: float = 0.95
) -> np.ndarray:
T = len(rewards)
advantages = np.zeros(T, dtype=np.float64)
last_gae = 0.0
# 从 T-1 逆序递归计算至 0
for t in reversed(range(T)):
# 1. 计算当前步的时序差分误差 delta
delta =
# 2. 递归更新 GAE
advantages[t] =
last_gae = advantages[t]
return advantages
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在基于 PPO 的强化学习训练循环中,价值网络的目标(Target Value)是如何计算的?
下一题: KL 散度与自适应惩罚项(前向 vs 逆向 KL) →
💡

实战一句话记忆口诀

时序残差先算好,反向递归向前跑,乘上伽马乘兰姆,偏差方差两平衡

📐 核心数学公式与机理推导

A^tGAE=∑l=0∞(γλ)lδt+lV,δtV=rt+γV(st+1)−V(st)\hat{A}_t^{\mathrm{GAE}} = \sum_{l=0}^\infty (\gamma \lambda)^l \delta_{t+l}^V, \quad \delta_t^V = r_t + \gamma V(s_{t+1}) - V(s_t)
### 偏差与方差的连续调和
在强化学习中计算优势函数 A(s,a)=Q(s,a)−V(s)A(s, a) = Q(s, a) - V(s):
- 若用单步时序差分 TD(0):δt=rt+γV(st+1)−V(st)\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t),强烈依赖当前价值网络估计,偏差极大;
- 若用全轨迹蒙特卡洛(MC):∑k=tTγk−trk−V(st)\sum_{k=t}^T \gamma^{k-t} r_k - V(s_t),无偏差,但整条轨迹随机性累加导致方差巨大。
John Schulman 等人在 2015 年提出 GAE:
定义单步 TD 误差 δtV\delta_t^V。GAE 是所有步长 TD 误差的指数加权平均:
A^t=δtV+(γλ)A^t+1\hat{A}_t = \delta_t^V + (\gamma \lambda) \hat{A}_{t+1}
- λ=0\lambda = 0:退化为单步 TD,方差最小;
- λ=1\lambda = 1:退化为纯 MC 回报,偏差最小;
实践中通常取 γ=0.99,λ=0.95\gamma = 0.99, \lambda = 0.95。从序列末尾向前反向递归累加。

🔄 张量维度与形状流转说明

rewards: (T,), values: (T+1,) -> 逆向遍历 -> delta_t -> advantage_t = delta + gamma*lam*adv_{t+1} -> 输出 (T,)

🛡️ 数值稳定性自检与边界要点

  • 必须从后往前(reversed range)逆序计算
  • values 数组长度必须是 T + 1,最后一个为最终终止状态的价值估计(若为 Done 则为 0.0)

💻 完整参考代码实现

import numpy as np

def compute_gae(
    rewards: np.ndarray,      # (T,) 时间步奖励
    values: np.ndarray,       # (T+1,) 包含终止状态预估的价值
    gamma: float = 0.99,
    lam: float = 0.95
) -> np.ndarray:
    T = len(rewards)
    advantages = np.zeros(T, dtype=np.float64)
    last_gae = 0.0
    
    # 从 T-1 逆序递归计算至 0
    for t in reversed(range(T)):
        # 1. 计算当前步的时序差分误差 delta
        delta = rewards[t] + gamma * values[t + 1] - values[t]
        # 2. 递归更新 GAE
        advantages[t] = delta + gamma * lam * last_gae
        last_gae = advantages[t]
        
    return advantages

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
rewards = np.array([1.0, 1.0, 1.0])
values = np.array([0.5, 0.5, 0.5, 0.0])
adv = compute_gae(rewards, values, gamma=0.99, lam=0.95)
assert len(adv) == 3
assert adv[0] > 0, "正向奖励应产生正优势"
print("✓ GAE 广义优势估计自测通过")

🎯 核心工程追问与标准应答

Q1:在基于 PPO 的强化学习训练循环中,价值网络的目标(Target Value)是如何计算的?
Target Value 通常直接通过已求出的优势与基线相加得到:Vtarget=A^GAE+VoldV_{\text{target}} = \hat{A}^{\text{GAE}} + V_{\text{old}}。然后最小化均方误差 12(Vθ(st)−Vtarget)2\frac{1}{2} (V_\theta(s_t) - V_{\text{target}})^2。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: GRPO 组内相对优势归一化(DeepSeek 核心免 Critic 架构)返回 Part F 与全部 105 题下一题: KL 散度与自适应惩罚项(前向 vs 逆向 KL) →