⚡ 大语言模型ID: distillation

知识蒸馏

Q: 蒸馏为什么学软标签而不是硬标签?

【知识蒸馏 核心考点 1】蒸馏为什么学软标签而不是硬标签?。技术解析：定义: 知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 p_T = \text{softmax}(z/T) (温度 T 软化概率,放大类间暗知识),损失为 \mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T);T^2 用于补偿软化后的梯度尺度。 使用场景: 把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/distillation

Q: 温度 T 的作用?T 过大/过小有什么影响?

【知识蒸馏 核心考点 2】温度 T 的作用?T 过大/过小有什么影响?。技术解析：定义: 知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 p_T = \text{softmax}(z/T) (温度 T 软化概率,放大类间暗知识),损失为 \mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T);T^2 用于补偿软化后的梯度尺度。 使用场景: 把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/distillation

Q: 蒸馏与量化是什么关系?为什么说两者正交?

【知识蒸馏 核心考点 3】蒸馏与量化是什么关系?为什么说两者正交?。技术解析：定义: 知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 p_T = \text{softmax}(z/T) (温度 T 软化概率,放大类间暗知识),损失为 \mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T);T^2 用于补偿软化后的梯度尺度。 使用场景: 把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/distillation

Q: 蒸馏的常见变体有哪些 (logits/特征/自蒸馏)?

【知识蒸馏 核心考点 4】蒸馏的常见变体有哪些 (logits/特征/自蒸馏)?。技术解析：定义: 知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 p_T = \text{softmax}(z/T) (温度 T 软化概率,放大类间暗知识),损失为 \mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T);T^2 用于补偿软化后的梯度尺度。 使用场景: 把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/distillation

Q: 学生与教师容量差距过大时会出现什么问题?如何缓解?

【知识蒸馏 核心考点 5】学生与教师容量差距过大时会出现什么问题?如何缓解?。技术解析：定义: 知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布 p_T = \text{softmax}(z/T) (温度 T 软化概率,放大类间暗知识),损失为 \mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T);T^2 用于补偿软化后的梯度尺度。 使用场景: 把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/distillation

Knowledge Distillation

🎯核心定义

知识蒸馏 (KD) 让学生模型模仿教师模型的软输出分布

p_T = \text{softmax}(z/T)

(温度

T

软化概率,放大类间暗知识),损失为

\mathcal{L} = \alpha \mathcal{L}_{CE}(y, p_S) + (1-\alpha) \cdot T^2 \cdot \text{KL}(p_S \| p_T)

;

T^2

用于补偿软化后的梯度尺度。

💡使用场景

把大模型压缩成可部署的小模型、无标注数据上的知识迁移 (教师输出当软标签)、跨架构学习 (LLM 教师蒸馏到小 Transformer);在 LLM 压缩中与量化正交——量化减少位宽、蒸馏减少模型容量,两者可叠加使用。

⚡解决的核心痛点

模型过大无法直接部署时,蒸馏把教师的泛化知识浓缩进学生,训练成本低于从零训练同规模模型,且软标签保留了类间相似性信息,比硬标签学得更多;与量化是两条互补的压缩轴,叠加后压缩比更高。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【知识蒸馏】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【知识蒸馏】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

蒸馏为什么学软标签而不是硬标签?

温度 T 的作用?T 过大/过小有什么影响?

蒸馏与量化是什么关系?为什么说两者正交?

蒸馏的常见变体有哪些 (logits/特征/自蒸馏)?

学生与教师容量差距过大时会出现什么问题?如何缓解?

📖 关联深度指南:📄 quantization-and-compression →

更新于 2026-08-12

🎯

检验攻克程度：针对「知识蒸馏」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点激活异常值处理与 FP8 下一个知识点 →MoE 路由 Top-k

知识蒸馏

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片