M3-051M3: 深度学习基础正则化与训练技巧Hard
⚡闪卡盲测➔掌握度:
什么是参数平均(SWA)与模型融合?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
SWA 对轨迹上多点做等权平均,偏向平坦解;模型融合(checkpoint averaging / 集成)平均多个模型的预测或权重。
📌 核心要点提炼
- •SWA 需周期性高 lr 使采样点分散
- •权重平均要求模型在同一'损失盆地'(否则有害)
- •预测集成(ensemble)总比权重平均更稳但更贵
📐 数学机理与严密推导
数学机理:SWA(Izmailov 等 2018) 的做法是在训练后期周期性地把 lr 拉高(如循环或固定高 lr),使参数在不同时间落在损失盆地内不同但相近的位置,然后对这些点做等权平均。理论依据:若这些点都在同一平坦盆地内,则它们的平均仍在盆地内且更接近盆地中心(平坦解),而平坦解的泛化通常更好;反之若各点落在不同盆地,平均点会落在'盆地之间的高损失脊'上,性能崩塌。模型融合有两个层次:(a) 权重平均(需同盆地、且通常需重新估计 BN 统计——因为平均后的权重对应新的激活分布,BN 的 running mean/var 必须重新跑一遍数据);(b) 预测集成——保留多个模型分别推理再平均输出,不要求同盆地、效果最稳,但推理成本 ×k。checkpoint averaging 是 SWA 的实用变体:对训练最后几个 epoch 的 checkpoint 做平均。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 为什么需要重估 BN——BN 的 running statistics 依赖于当前权重的激活分布;权重平均后分布改变,若不重估,推理时归一化失配、性能显著下降。SWA 论文明确指出需'BN update pass'(用训练数据跑一遍前向更新统计)。② SWA vs EMA——EMA 是'时间加权、单条轨迹',SWA 是'等权、周期性多采样点';EMA 更简单通用,SWA 在需要显式找平坦解时更有效。两者可叠加。③ 在 LLM 中的现实——权重平均在 LLM 中较少用(不同 checkpoint 常落在不同盆地,且成本高);预测集成在 LLM 中用于提升质量(如 self-consistency 采样多个答案投票),但那是解码层面的集成而非权重层面。④ 融合的实用价值——模型融合(ensemble)是竞赛提升精度的可靠手段(通常提升 1~3%),代价是推理成本;生产环境更常用知识蒸馏把集成压缩回单模型。⑤ 与 LoRA 的交互——多个 LoRA 适配器可通过权重平均合并(task arithmetic / model soup),但需注意不同任务的适配器可能落在不同盆地,平均可能失效。⑥ 面试要点——被问'能否把两个模型权重平均',正确回答:'只有当它们在同一损失盆地内才有效;否则应在预测层集成',并提到 BN 重估这一必要步骤。
⚠️ 常见面试陷阱与高频失分点
- ✕无条件平均两个独立训练的模型权重(不同盆地→崩塌)
- ✕权重平均后不重估 BN 统计
🎯 面试官连环追问与延伸考察
- ?为什么权重平均要求模型在同一盆地?
- ?SWA 与 EMA 的本质区别是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!