M3-052M3: 深度学习基础正则化与训练技巧Medium
⚡闪卡盲测➔掌握度:
解释 label smoothing 的作用与代价
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
把硬标签替换为软标签(正确类 1−ε、其余 ε/(K−1));抑制过度自信、改善校准,但损失可解释性与蒸馏能力。
📌 核心要点提炼
- •ε 常取 0.1;等价于对 logits 加正则
- •提升校准与鲁棒性,但降低'知识蒸馏'效果
- •会使模型输出有界(logit 差距不会无限大)
📐 数学机理与严密推导
数学机理:标准交叉熵鼓励正确类 logit 趋于无穷(因为 loss 无下界、只要 logit 差距足够大 loss 就趋于 0),导致过度自信与过大的 logit 幅度。Label smoothing 把目标从 one-hot 变为'正确类 1−ε、其余类各 ε/(K−1)'。在最优解处,交叉熵的梯度为零要求模型输出等于平滑后的标签,即 p_c=1−ε、其余 ε/(K−1)——logit 的差距被限制在有限值(正比于 log((1−ε)(K−1)/ε))。这带来三个效果:(1) 校准改善——置信度更接近真实准确率;(2) 鲁棒性提升——对标签噪声与对抗样本更鲁棒(不依赖极端 logit);(3) 泛化改善——在 ImageNet 等任务上稳定提升。代价:(a) 蒸馏失效——Hinton 的蒸馏依赖教师模型的软标签携带'类间相似性'信息(如'3'与'8'相似),而 label smoothing 是均匀分布、不含类间结构,故教师被平滑后蒸馏效果下降(Müller 等 2019 明确指出);(b) 置信度不可用——若下游需要真实置信度做拒识/校准,平滑后的输出被系统性压低。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 与温度缩放的互补——label smoothing 在训练时限制 logit 幅度,温度缩放在推理时调整置信度;两者都改善校准但机制不同。② ε 的选择——ε=0.1 是 ImageNet 的常用值;过大(如 0.3)会欠拟合(目标过于模糊)、损害精度。③ 在 LLM 中的使用——LLM 预训练常不用 label smoothing(因 next-token 分布本身有信息、且需保留概率结构);但某些翻译/分类微调任务会用。④ 与 Mixup 的区别——label smoothing 只软化标签(样本不变),Mixup 同时软化样本与标签;前者更便宜。⑤ '知识蒸馏被破坏'的修复——若既要平滑又要蒸馏,可用'softened 但保留结构的标签'(如对教师分布做小温度缩放)而非均匀平滑。⑥ 面试要点——加分回答是主动指出'label smoothing 的代价:破坏类间相似性信息、损害蒸馏';这是 Müller 等 2019 《When Does Label Smoothing Help?》的核心结论,能显著体现文献掌握。
⚠️ 常见面试陷阱与高频失分点
- ✕以为 label smoothing 只有好处(会损害蒸馏与类间结构)
- ✕在下游需要真实置信度时仍用强平滑
🎯 面试官连环追问与延伸考察
- ?为什么 label smoothing 会损害知识蒸馏?
- ?label smoothing 与温度缩放的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!