知识蒸馏

知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 $p_T = \text{softmax}(z/T)$ (温度 $T$ 软化概率,放大类间暗知识),损失为 $\mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T)$;$T^2$ 用于补偿软化后的梯度尺度。

把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压缩中与量化正交——量化减少位宽、蒸馏减少模型容量,两者可叠加使用。

模型过大无法直接部署时,蒸馏把教师的泛化知识浓缩进学生,训练成本低于从零训练同规模模型,且软标签保留了类间相似性信息,比硬标签学得更多;与量化是两条互补的压缩轴,叠加后压缩比更高。

检验攻克程度：针对「知识蒸馏」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。