F4Medium★ 工业基石 (核心高频)Part F · 大模型对齐与强化学习
GRPO 组内相对优势归一化(DeepSeek 核心免 Critic 架构)
DeepSeekMath / DeepSeek-R1 核心基石,彻底砍掉同等规模的 Critic 价值网络,组内自归一化节省 50% 显存。
⏱️ 时间复杂度:
O(B * G) 极轻量纯向量运算💾 空间复杂度:
相比 PPO 节省整整一套 Critic 网络的百亿显存🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def compute_grpo_advantages(rewards: np.ndarray, eps: float = 1e-8) -> np.ndarray:
"""
计算 GRPO 组内相对优势。
参数:
rewards: (B, G) 每个 Prompt 生成 G 个采样的奖励标量
返回:
advantages: (B, G) 归一化后的组内相对优势
"""
# 沿组维度 (axis=-1) 独立计算均值与标准差
mean =
std = np.std(rewards, axis=-1, keepdims=True)
# 组内相对归一化
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在 DeepSeek-R1 的纯强化学习冷启动(Zero-RL)中,GRPO 使用了哪些规则奖励(Rule-based Reward)?
💡
实战一句话记忆口诀
同一提示采多路,组内均方相对度,砍掉 Critic 省半显,深度推理自突围
📐 核心数学公式与机理推导
### 彻底砍掉 Critic 网络的革命性创新
传统 PPO 必须维护一个与 Actor 参数量相同的 Critic(价值基线)网络,显存占用极大且需要极其精细的价值回归调优。
DeepSeek 团队提出 GRPO(Group Relative Policy Optimization):
1. 组内群组采样:对于同一个 Prompt ,Actor 策略直接采样生成一组( 个,如 )候选输出 ;
2. 免 Critic 相对优势计算:由外部规则打分器(如数学代码验证工具或奖励模型)为每个输出判定奖励 ;
3. 直接计算组内的均值 和标准差 ,将优势显式标准化:
4. 直接利用此相对优势进行带 PPO 裁剪因子的策略更新,同时加入针对 Reference 模型的无偏 KL 散度惩罚。
收益:彻底消除 Critic 显存与通信,使大模型强化学习长链推理训练成为平民化现实。
传统 PPO 必须维护一个与 Actor 参数量相同的 Critic(价值基线)网络,显存占用极大且需要极其精细的价值回归调优。
DeepSeek 团队提出 GRPO(Group Relative Policy Optimization):
1. 组内群组采样:对于同一个 Prompt ,Actor 策略直接采样生成一组( 个,如 )候选输出 ;
2. 免 Critic 相对优势计算:由外部规则打分器(如数学代码验证工具或奖励模型)为每个输出判定奖励 ;
3. 直接计算组内的均值 和标准差 ,将优势显式标准化:
4. 直接利用此相对优势进行带 PPO 裁剪因子的策略更新,同时加入针对 Reference 模型的无偏 KL 散度惩罚。
收益:彻底消除 Critic 显存与通信,使大模型强化学习长链推理训练成为平民化现实。
🔄 张量维度与形状流转说明
rewards: (B, G) -> 组内求 mean, std -> (B, 1) -> (rewards - mean)/(std + eps) -> advantages: (B, G)
🛡️ 数值稳定性自检与边界要点
- 组大小 G 不宜太小(通常 G >= 8,DeepSeek 采用 64),否则组内标准差估算噪声极大
- 当组内所有采样的奖励完全相同时(如全对或全错),std 为 0,必须加上 eps(1e-8)防止除零错误
- 结合 KL 散度惩罚时,DeepSeek 使用了非负无偏估计器:KL = exp(log_ref - log_pi) - (log_ref - log_pi) - 1
💻 完整参考代码实现
import numpy as np
def compute_grpo_advantages(rewards: np.ndarray, eps: float = 1e-8) -> np.ndarray:
"""
计算 GRPO 组内相对优势。
参数:
rewards: (B, G) 每个 Prompt 生成 G 个采样的奖励标量
返回:
advantages: (B, G) 归一化后的组内相对优势
"""
# 沿组维度 (axis=-1) 独立计算均值与标准差
mean = np.mean(rewards, axis=-1, keepdims=True)
std = np.std(rewards, axis=-1, keepdims=True)
# 组内相对归一化
return (rewards - mean) / (std + eps)
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# 模拟一个 Prompt 的 4 个生成,得分分别为 [1.0, 0.0, 1.0, 0.0]
rewards = np.array([[1.0, 0.0, 1.0, 0.0]])
advs = compute_grpo_advantages(rewards)
# 均值应为 0,且好回答优势为正,差回答优势为负
assert np.isclose(advs.mean(), 0.0)
assert advs[0, 0] > 0 and advs[0, 1] < 0
assert np.isclose(advs[0, 0], -advs[0, 1])
print("✓ GRPO 组内优势归一化自测通过")🎯 核心工程追问与标准应答
Q1:在 DeepSeek-R1 的纯强化学习冷启动(Zero-RL)中,GRPO 使用了哪些规则奖励(Rule-based Reward)?
为了彻底规避奖励黑客(Reward Hacking),DeepSeek-R1 完全抛弃了神经网络判分,直接采用确定性规则:1. 准确性奖励(Compiler / SymPy 校验数学答案或代码单元测试通过与否,0 或 1);2. 格式规范奖励(强制要求回答严格包裹在
<think>...</think> 思考标签中)。⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!