⬅ AI 全产业总图/Layer 05 · 05. 预训练、后训练与对齐
5.3

5.3 偏好对齐、强化学习与推理进化

DPO/IPO/SimPO 离线直接偏好优化、Constitutional AI 宪政对齐、PPO 在线强化学习、DeepSeek-R1 GRPO 群体相对采样与规则自验证 (RLVR)。

DPO / IPO 离线直接偏好优化与偏好数据采集

DPO 封闭解析解推导 (Direct Preference Optimization 绕过显式奖励模型)、IPO / KTO / SimPO 算法变体、Constitutional AI 宪政自对齐、高质量偏好对构建与分布外 (OOD) 生成退化抑制。

🏢 标杆代表企业
Anthropic、OpenAI、Meta (Llama)、Google DeepMind、Scale AI
🛠️ 核心技术栈
DPOIPOKTOSimPOConstitutional AIPreference PairsOOD Degeneration
💼 典型岗位与薪资
Alignment Engineer、Safety Researcher、RL Engineer
💰 $255K - $540K / 年 (偏好对齐与价值对齐) | ¥80W - ¥200W / 年
📚 先决掌握技能:Bradley-Terry 偏好概率模型数学推导 • DPO 损失函数相对于策略参数的梯度求导 • 参考策略模型 (Reference Model) 作用与显存开销 • 人类/AI 偏好标注指南与质量控制

PPO 在线强化学习、DeepSeek GRPO 与规则验证 (RLVR)

PPO 在线策略梯度与 Critic/Reward 奖励模型协同训练、DeepSeek-R1 GRPO (Group Relative Policy Optimization) 群体相对奖励采样 (无需独立 Critic 网络)、数学与代码任务的规则化自验证 (RLVR 强化推理) 与 Process Reward Models (PRM 过程奖励模型)。

🏢 标杆代表企业
DeepSeek、OpenAI、Anthropic、Google DeepMind
🛠️ 核心技术栈
GRPODeepSeek-R1PPORLVRProcess Reward ModelsRule-Based RewardsActor-Critic
💼 典型岗位与薪资
RL Engineer、Alignment Engineer、Research Scientist、Evaluation Engineer
💰 $270K - $620K / 年 (前沿 RL 与推理进化) | ¥90W - ¥250W / 年
📚 先决掌握技能:强化学习 MDP 与策略梯度定理 (Policy Gradient Theorem) • DeepSeek-R1 GRPO 组内归一化奖励数学推导 • PPO 裁剪目标函数 (Clipped Surrogate Objective) 与 GAE • 代码/数学执行环境的自动化可验证奖励设计 (RLVR)