F4Medium★ 工业基石 (核心高频)Part F · 大模型对齐与强化学习

GRPO 组内相对优势归一化(DeepSeek 核心免 Critic 架构)

⚡闪卡盲测➔

DeepSeekMath / DeepSeek-R1 核心基石,彻底砍掉同等规模的 Critic 价值网络,组内自归一化节省 50% 显存。

⏱️ 时间复杂度: O(B * G) 极轻量纯向量运算
💾 空间复杂度: 相比 PPO 节省整整一套 Critic 网络的百亿显存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def compute_grpo_advantages(rewards: np.ndarray, eps: float = 1e-8) -> np.ndarray:
"""
计算 GRPO 组内相对优势。
参数:
rewards: (B, G) 每个 Prompt 生成 G 个采样的奖励标量
返回:
advantages: (B, G) 归一化后的组内相对优势
"""
# 沿组维度 (axis=-1) 独立计算均值与标准差
mean =
std = np.std(rewards, axis=-1, keepdims=True)
# 组内相对归一化
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在 DeepSeek-R1 的纯强化学习冷启动(Zero-RL)中,GRPO 使用了哪些规则奖励(Rule-based Reward)?
下一题: GAE(广义优势估计) →
💡

实战一句话记忆口诀

同一提示采多路,组内均方相对度,砍掉 Critic 省半显,深度推理自突围

📐 核心数学公式与机理推导

A^i,j=ri,j−mean({ri,⋅})std({ri,⋅})+ϵ\hat{A}_{i, j} = \frac{r_{i, j} - \mathrm{mean}(\{r_{i, \cdot}\})}{\mathrm{std}(\{r_{i, \cdot}\}) + \epsilon}
### 彻底砍掉 Critic 网络的革命性创新
传统 PPO 必须维护一个与 Actor 参数量相同的 Critic(价值基线)网络,显存占用极大且需要极其精细的价值回归调优。
DeepSeek 团队提出 GRPO(Group Relative Policy Optimization):
1. 组内群组采样:对于同一个 Prompt qq,Actor 策略直接采样生成一组(GG 个,如 G=64G=64)候选输出 {o1,o2,…,oG}\{o_1, o_2, \dots, o_G\};
2. 免 Critic 相对优势计算:由外部规则打分器(如数学代码验证工具或奖励模型)为每个输出判定奖励 {r1,r2,…,rG}\{r_1, r_2, \dots, r_G\};
3. 直接计算组内的均值 μr\mu_r 和标准差 σr\sigma_r,将优势显式标准化:
A^i=ri−μrσr+ϵ\hat{A}_i = \frac{r_i - \mu_r}{\sigma_r + \epsilon}
4. 直接利用此相对优势进行带 PPO 裁剪因子的策略更新,同时加入针对 Reference 模型的无偏 KL 散度惩罚。
收益:彻底消除 Critic 显存与通信,使大模型强化学习长链推理训练成为平民化现实。

🔄 张量维度与形状流转说明

rewards: (B, G) -> 组内求 mean, std -> (B, 1) -> (rewards - mean)/(std + eps) -> advantages: (B, G)

🛡️ 数值稳定性自检与边界要点

  • 组大小 G 不宜太小(通常 G >= 8,DeepSeek 采用 64),否则组内标准差估算噪声极大
  • 当组内所有采样的奖励完全相同时(如全对或全错),std 为 0,必须加上 eps(1e-8)防止除零错误
  • 结合 KL 散度惩罚时,DeepSeek 使用了非负无偏估计器:KL = exp(log_ref - log_pi) - (log_ref - log_pi) - 1

💻 完整参考代码实现

import numpy as np

def compute_grpo_advantages(rewards: np.ndarray, eps: float = 1e-8) -> np.ndarray:
    """
    计算 GRPO 组内相对优势。
    参数:
        rewards: (B, G) 每个 Prompt 生成 G 个采样的奖励标量
    返回:
        advantages: (B, G) 归一化后的组内相对优势
    """
    # 沿组维度 (axis=-1) 独立计算均值与标准差
    mean = np.mean(rewards, axis=-1, keepdims=True)
    std = np.std(rewards, axis=-1, keepdims=True)
    
    # 组内相对归一化
    return (rewards - mean) / (std + eps)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
# 模拟一个 Prompt 的 4 个生成,得分分别为 [1.0, 0.0, 1.0, 0.0]
rewards = np.array([[1.0, 0.0, 1.0, 0.0]])
advs = compute_grpo_advantages(rewards)
# 均值应为 0,且好回答优势为正,差回答优势为负
assert np.isclose(advs.mean(), 0.0)
assert advs[0, 0] > 0 and advs[0, 1] < 0
assert np.isclose(advs[0, 0], -advs[0, 1])
print("✓ GRPO 组内优势归一化自测通过")

🎯 核心工程追问与标准应答

Q1:在 DeepSeek-R1 的纯强化学习冷启动(Zero-RL)中,GRPO 使用了哪些规则奖励(Rule-based Reward)?
为了彻底规避奖励黑客(Reward Hacking),DeepSeek-R1 完全抛弃了神经网络判分,直接采用确定性规则:1. 准确性奖励(Compiler / SymPy 校验数学答案或代码单元测试通过与否,0 或 1);2. 格式规范奖励(强制要求回答严格包裹在 <think>...</think> 思考标签中)。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: PPO 裁剪代理目标损失(Clipped Surrogate Objective)返回 Part F 与全部 105 题下一题: GAE(广义优势估计) →