F5HardPart F · 大模型对齐与强化学习
GAE(广义优势估计)
通过指数加权移动平均在单步 TD 误差(低方差高偏差)与全蒙特卡洛回报(零偏差高方差)之间达成最优权衡。
⏱️ 时间复杂度:
O(T) 线性逆向遍历💾 空间复杂度:
O(T)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def compute_gae(
rewards: np.ndarray, # (T,) 时间步奖励
values: np.ndarray, # (T+1,) 包含终止状态预估的价值
gamma: float = 0.99,
lam: float = 0.95
) -> np.ndarray:
T = len(rewards)
advantages = np.zeros(T, dtype=np.float64)
last_gae = 0.0
# 从 T-1 逆序递归计算至 0
for t in reversed(range(T)):
# 1. 计算当前步的时序差分误差 delta
delta =
# 2. 递归更新 GAE
advantages[t] =
last_gae = advantages[t]
return advantages
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在基于 PPO 的强化学习训练循环中,价值网络的目标(Target Value)是如何计算的?
💡
实战一句话记忆口诀
时序残差先算好,反向递归向前跑,乘上伽马乘兰姆,偏差方差两平衡
📐 核心数学公式与机理推导
### 偏差与方差的连续调和
在强化学习中计算优势函数 :
- 若用单步时序差分 TD(0):,强烈依赖当前价值网络估计,偏差极大;
- 若用全轨迹蒙特卡洛(MC):,无偏差,但整条轨迹随机性累加导致方差巨大。
John Schulman 等人在 2015 年提出 GAE:
定义单步 TD 误差 。GAE 是所有步长 TD 误差的指数加权平均:
- :退化为单步 TD,方差最小;
- :退化为纯 MC 回报,偏差最小;
实践中通常取 。从序列末尾向前反向递归累加。
在强化学习中计算优势函数 :
- 若用单步时序差分 TD(0):,强烈依赖当前价值网络估计,偏差极大;
- 若用全轨迹蒙特卡洛(MC):,无偏差,但整条轨迹随机性累加导致方差巨大。
John Schulman 等人在 2015 年提出 GAE:
定义单步 TD 误差 。GAE 是所有步长 TD 误差的指数加权平均:
- :退化为单步 TD,方差最小;
- :退化为纯 MC 回报,偏差最小;
实践中通常取 。从序列末尾向前反向递归累加。
🔄 张量维度与形状流转说明
rewards: (T,), values: (T+1,) -> 逆向遍历 -> delta_t -> advantage_t = delta + gamma*lam*adv_{t+1} -> 输出 (T,)
🛡️ 数值稳定性自检与边界要点
- 必须从后往前(reversed range)逆序计算
- values 数组长度必须是 T + 1,最后一个为最终终止状态的价值估计(若为 Done 则为 0.0)
💻 完整参考代码实现
import numpy as np
def compute_gae(
rewards: np.ndarray, # (T,) 时间步奖励
values: np.ndarray, # (T+1,) 包含终止状态预估的价值
gamma: float = 0.99,
lam: float = 0.95
) -> np.ndarray:
T = len(rewards)
advantages = np.zeros(T, dtype=np.float64)
last_gae = 0.0
# 从 T-1 逆序递归计算至 0
for t in reversed(range(T)):
# 1. 计算当前步的时序差分误差 delta
delta = rewards[t] + gamma * values[t + 1] - values[t]
# 2. 递归更新 GAE
advantages[t] = delta + gamma * lam * last_gae
last_gae = advantages[t]
return advantages
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
rewards = np.array([1.0, 1.0, 1.0])
values = np.array([0.5, 0.5, 0.5, 0.0])
adv = compute_gae(rewards, values, gamma=0.99, lam=0.95)
assert len(adv) == 3
assert adv[0] > 0, "正向奖励应产生正优势"
print("✓ GAE 广义优势估计自测通过")🎯 核心工程追问与标准应答
Q1:在基于 PPO 的强化学习训练循环中,价值网络的目标(Target Value)是如何计算的?
Target Value 通常直接通过已求出的优势与基线相加得到:。然后最小化均方误差 。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!