DPO vs GRPO 偏好对齐算法

大模型人类偏好对齐前沿算法：直接偏好优化 (DPO) vs 群组相对策略优化 (GRPO) 体系 (DPO vs GRPO Preference Alignment & Reasoning RL) 是让大模型输出符合人类安全价值观、提升推理能力 (Reasoning / Math) 的核心对齐工程技术；1) DPO (直接偏好优化): 摒弃了传统 PPO 复杂的奖励模型 (Reward Model) 与强化学习训练回路，直接通过解析推导将隐式奖励函数代入 Bradley-Terry 偏好模型，构建基于成对偏好数据 $(x, y_w, y_l)$ 的优雅封闭式二分类交叉熵损失函数：$\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}\left[\ln \sigma\left(\beta \ln \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \ln \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right]$，训练极度稳定；2) GRPO (DeepSeekMath / DeepSeek-R1 核心采用的群组相对策略优化): 彻底淘汰传统 PPO 的 Critic 价值评估网络，对每个 Query 采样 $G$ 个候选回答组成 Group，利用 Group 内部的相对奖励均值与标准差计算优势函数 $A_i = \frac{r_i - \text{mean}(\{r\})}{\text{std}(\{r\})}$，显存占用暴降 50%，是大模型强化学习长思维链推理 (o1 / R1) 的标准对齐算法。

大模型安全性与幻觉抑制对齐、数学与代码逻辑长推理模型训练、对话风格微调。

传统 PPO 训练需要同时在显存中维护 4 个大模型（Actor, Critic, Reward, Reference），训练极易发散崩盘且显存翻倍；DPO 与 GRPO 分别通过隐式解析和群组优势消除 Critic，实现了极速、极稳、低显存的现代偏好对齐。

检验攻克程度：针对「DPO vs GRPO 偏好对齐算法」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。