Loss Functions & Objectives: 解释 KL 散度在蒸馏/正则中的使用与它的不对称性。

Core Concept: KL(P‖Q) 度量用 Q 编码 P 的额外代价；前向 KL 倾向覆盖（mean-seeking）、反向 KL 倾向众数（mode-seeking）。

数学机理：<strong>KL 散度</strong> D_KL(P‖Q)=Σ P log(P/Q) 度量'用分布 Q 编码来自 P 的样本时的额外比特数'，恒非负、当且仅当 P=Q 时为 0；但它<strong>不对称</strong>（不是距离度量）。<strong>不对称性的后果</strong>：考虑 P 为双峰、Q 为单峰高斯。<strong>前向 KL</strong> D_KL(P‖Q)=Σ P log(P/Q)——在 P 有质量而 Q 无质量的地方（Q→0 而 P>0）惩罚为<strong>无穷大</strong>，故 Q 被迫<strong>覆盖 P 的所有模式</strong>（即使因此把质量摊薄到两个峰之间），表现为'mean-seeking'（零避免）。<strong>反向 KL</strong> D_KL(Q‖P)=Σ Q log(Q/P)——在 Q 有质量而 P 无质量处惩罚无穷，故 Q 会<strong>避开 P 的零区</strong>、收缩到 P 的<strong>某一个峰</strong>上，表现为'mode-seeking'（零避免方向相反）。<strong>蒸馏</strong>用前向 KL（教师分布作为 P）：学生要覆盖教师的全部输出结构（包括'哪些类相似'的软信息）；公式中的 <strong>τ² 因子</strong>是因为对 logits 除以 τ 后，梯度会带 1/τ² 的缩放，乘 τ² 使蒸馏损失的梯度量级与普通 CE 可比。<strong>变分推断</strong>用反向 KL（近似分布作为 Q）以求'找一个最接近真实后验的单峰近似'。

深度剖析与工程权衡：① <strong>蒸馏中的温度</strong>——τ>1 使教师分布更软（暴露类间相似性）、提供更丰富的监督信号；τ=1 退化为标准 CE（用硬标签）。经典做法是训练时用 τ（如 4）、推理时用 T=1。② <strong>与 RLHF 中 KL 惩罚的关系</strong>——PPO 微调语言模型时在奖励上加 KL(policy‖ref) 惩罚，防止策略偏离参考模型太远（reward hacking）；此处用<strong>反向 KL 的采样近似</strong>（从 policy 采样、计算 log ratio），是 per-token 的。③ <strong>与 DPO 的关系</strong>——DPO 的推导中隐式使用了反向 KL 的闭式解，把 RLHF 的两阶段问题化为单一分类损失。④ <strong>前向 vs 反向的选择原则</strong>——需要'覆盖'（生成多样性、知识蒸馏）用前向；需要'精确单峰近似'（变分推断）用反向；需要'不偏离参考'（RLHF）用反向。⑤ <strong>与 JS 散度的关系</strong>——JS 散度是 KL 的对称化版本，GAN 的原始目标即最小化 JS；JS 对'分布不重叠'敏感（梯度消失），催生了 WGAN 的 Wasserstein 距离。⑥ <strong>面试要点</strong>——被问'为什么 KL 不对称'，用一个双峰例子讲清'前向覆盖、反向择一'；并能在蒸馏/RLHF/变分推断三个场景中分别指出用的是哪个方向，是深度理解的标志。