M4-101M4: 序列与 Transformer模型压缩与蒸馏Medium
⚡闪卡盲测➔掌握度:

解释蒸馏中的 on-policy 与 off-policy 数据差异。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-102 →
📐 核心数学机理公式
off-policy: x∼Dteacher;on-policy: x∼πstudent\text{off-policy}:\ x\sim\mathcal{D}_{\text{teacher}};\qquad \text{on-policy}:\ x\sim\pi_{\text{student}}
⚡ 一句话直击要害答案
off-policy 用教师生成的数据(分布是教师的);on-policy 用学生自己生成的数据(分布是学生的),后者缓解分布不匹配。

📌 核心要点提炼

  • •
    off-policy:用教师的输出(或固定数据集)训练学生
  • •
    on-policy:用学生自己的输出,由教师打分(或蒸馏)
  • •
    on-policy 缓解'训练-推理分布不匹配'(同 exposure bias)

📐 数学机理与严密推导

数学机理:off-policy 蒸馏——学生在一个固定的数据集上学习(数据来自教师或原始语料),即训练分布是教师的分布 D_teacher。问题——(a) 分布不匹配:学生推理时会遇到'自己生成的数据分布'(含自己的错误),但训练时只见过教师/真值分布;这与 exposure bias 同源(训练用 teacher forcing、推理用自回归);(b) 学生可能在教师的'容易样本'上过拟合,而在'自己的错误状态'上无监督。on-policy 蒸馏——让学生自己生成序列(或部分序列),再由教师在这些'学生自己的状态'上给出软标签(或评分)。为什么更好——(a) 训练分布与推理分布一致(都来自学生),消除分布不匹配;(b) 教师纠正学生的错误——教师对'学生走错的状态'给出正确的分布,直接教学生'如何从错误中恢复';(c) 缓解 exposure bias(见 M4 的相关题)。代价——(a) 成本高:需在线让学生生成(自回归、串行),再让教师前向(额外计算),无法用固定数据集缓存;(b) 训练不稳定:学生分布随训练变化,需持续采样;(c) 教师可能对学生的奇怪状态给出不可靠的标签(教师也没见过这些状态)。实例——(a) GKD(Generalized KD):在学生的自生成序列上蒸馏;(b) MiniLLM:用反向 KL 在学生的分布上蒸馏(避免教师分布覆盖学生不擅长的区域);(c) RLHF 中的 on-policy 采样:用当前策略生成、再用奖励模型/人类反馈评分(本质是 on-policy 的偏好蒸馏)。权衡——实践中常混合:先用 off-policy 冷启动(快速收敛),再用 on-policy 精调(对齐分布)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 与 RL 的 off-policy/on-policy 术语一致——off-policy 用'行为策略'的数据、on-policy 用'当前策略'的数据;蒸馏的这两种模式与 RL 完全对应(且 RLHF 就是 on-policy 蒸馏)。理解这一统一视角很有价值。② 反向 KL vs 前向 KL 的选择——off-policy 蒸馏常用前向 KL(KL(p_T‖p_S),让学生覆盖教师的所有模式);on-policy 蒸馏(如 MiniLLM)用反向 KL(KL(p_S‖p_T),让学生聚焦自己会遇到的区域,避免在教师的高概率但学生不擅长的区域浪费容量)。这是'模式覆盖 vs 模式聚焦'的经典权衡(见 M3 的 KL 题)。③ 成本-收益的权衡——on-policy 蒸馏的质量更好但成本高(需在线采样);对'一次性蒸馏到小模型'的场景,额外成本可接受(因为推理时的成本节省会长期累积)。④ 与'数据蒸馏'的关系——数据蒸馏(用教师生成训练数据)通常是 off-policy(数据固定);若用学生生成、教师筛选(如 rejection sampling / STaR),则是 on-policy。⑤ 与'自我改进'的关系——on-policy 蒸馏是'自我改进'(self-improvement)的基础范式:模型生成 → 筛选/评分 → 训练自己;这被广泛用于推理能力的提升(如 STaR、ReST、以及 RLHF 的迭代)。⑥ 面试要点——被问'蒸馏的数据选择',应给出'off-policy(固定数据,便宜但有分布不匹配)vs on-policy(学生自生成 + 教师评分,贵但消除不匹配)',并联系到 exposure bias 与 RLHF;能提到'前向 KL vs 反向 KL 的选择'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    忽略 off-policy 蒸馏的分布不匹配问题
  • ✕
    on-policy 蒸馏时忽略成本与不稳定性
🎯 面试官连环追问与延伸考察
  • ?
    为什么 on-policy 蒸馏更好?
  • ?
    on-policy 的代价是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-100: 解释剪枝的三种粒度。📋 返回题库下一题 →M4-102: 解释推理加速的几条路线与适用条件。