F6MediumPart F · 大模型对齐与强化学习

KL 散度与自适应惩罚项(前向 vs 逆向 KL)

⚡闪卡盲测➔

测量两个概率分布的距离,大模型对齐防止策略跑偏的核心约束惩罚项。

⏱️ 时间复杂度: O(C)
💾 空间复杂度: O(1)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def discrete_kl_divergence(p: np.ndarray, q: np.ndarray, eps: float = 1e-12) -> float:
"""
计算两离散概率分布的 KL(P || Q)
"""
p_safe =
q_safe = np.clip(q, eps, 1.0)
return float(np.sum(p_safe * np.log(p_safe / q_safe)))
def sample_level_kl_penalty(log_probs_actor: np.ndarray, log_probs_ref: np.ndarray) -> np.ndarray:
"""
RLHF 实际采样级别无偏近似: log(pi) - log(ref)
"""
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在生成式大模型知识蒸馏(Distillation)中,使用逆向 KL 通常比前向 KL 生成的文本更流畅?
下一题: 多臂老虎机探索策略(epsilon-Greedy 与 UCB1) →
💡

实战一句话记忆口诀

P 乘对数做差比,前向包容防漏过,逆向聚焦选单峰

📐 核心数学公式与机理推导

DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)=Ex∼P[log⁡P(x)−log⁡Q(x)]D_{\mathrm{KL}}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \mathbb{E}_{x \sim P}[\log P(x) - \log Q(x)]
### 前向 KL(零避免)与逆向 KL(零强制)
Kullback-Leibler 散度不具备对称性:
1. 前向 KL(Forward KL: $D_{\mathrm{KL}}(P_{\text{data}} \parallel P_\theta)$):
- 目标是在全空间覆盖数据分布;
- 若 P(x)>0P(x) > 0,则必须保证 Q(x)>0Q(x) > 0,否则损失变 ∞\infty(Zero-Avoiding,倾向于均值模糊 Mean-Seeking);
2. 逆向 KL(Reverse KL: $D_{\mathrm{KL}}(P_\theta \parallel P_{\text{data}})$):
- 目标让策略网络尽量落在数据真实高概率区;
- 若 P(x)=0P(x) = 0 则直接强迫 Q(x)=0Q(x) = 0(Zero-Forcing,倾向于多模态单峰坍缩 Mode-Seeking);
在 RLHF 奖励惩罚中,通常在每步奖励中扣减 β(log⁡πθ(y∣x)−log⁡πref(y∣x))\beta (\log \pi_\theta(y \mid x) - \log \pi_{\mathrm{ref}}(y \mid x))。

🔄 张量维度与形状流转说明

p, q: (C,) -> p * (log(p) - log(q)) -> sum -> 标量 KL

🛡️ 数值稳定性自检与边界要点

  • 概率输入必须先 clip 截断极小值,避免 log(0) 导致 -inf
  • KL 散度永远非负,仅当两分布完全相同时取 0

💻 完整参考代码实现

import numpy as np

def discrete_kl_divergence(p: np.ndarray, q: np.ndarray, eps: float = 1e-12) -> float:
    """
    计算两离散概率分布的 KL(P || Q)
    """
    p_safe = np.clip(p, eps, 1.0)
    q_safe = np.clip(q, eps, 1.0)
    return float(np.sum(p_safe * np.log(p_safe / q_safe)))

def sample_level_kl_penalty(log_probs_actor: np.ndarray, log_probs_ref: np.ndarray) -> np.ndarray:
    """
    RLHF 实际采样级别无偏近似: log(pi) - log(ref)
    """
    return log_probs_actor - log_probs_ref

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
p = np.array([0.5, 0.5])
q = np.array([0.5, 0.5])
assert np.isclose(discrete_kl_divergence(p, q), 0.0)
q2 = np.array([0.9, 0.1])
assert discrete_kl_divergence(p, q2) > 0.0
print("✓ KL 散度计算自测通过")

🎯 核心工程追问与标准应答

Q1:为什么在生成式大模型知识蒸馏(Distillation)中,使用逆向 KL 通常比前向 KL 生成的文本更流畅?
教师模型是巨大的多峰分布。如果学生模型容量有限,使用前向 KL 试图覆盖教师的所有峰值,会导致在各个峰之间的低概率荒漠区产生质量极差的幻觉;而逆向 KL 具有强烈的单峰特性(Mode-Seeking),引导小模型专注于学好最确定的主要峰值,输出反而清晰自洽。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: GAE(广义优势估计)返回 Part F 与全部 105 题下一题: 多臂老虎机探索策略(epsilon-Greedy 与 UCB1) →