M3-011M3: 深度学习基础权重初始化Medium
⚡闪卡盲测➔掌握度:
Transformer 中常见的初始化技巧有哪些?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
缩放初始化(除以 √(2L))、残差分支小初始化、LayerNorm 前零初始化、输出投影零初始化。
📌 核心要点提炼
- •GPT-2 用 1/√(2L) 缩放残差分支
- •adaLN-Zero 门控零初始化
📐 数学机理与严密推导
四项技巧及其动机:① 残差分支缩放(1/√(2L))——GPT-2 的做法:把每个残差分支(attention 与 FFN 的输出投影)的权重乘以 1/√(2L)(L 为层数)。动机:残差连接使 h⁽ˡ⁾=h⁽ˡ⁻¹⁾+F(h⁽ˡ⁻¹⁾),若 F 的方差为 σ²,则 L 层后累积方差 ≈ L·σ²(若独立);为使总方差保持在 O(1),需 σ²∝1/L,故每层分支缩放 1/√L(考虑两支则 1/√(2L))。这与后文的 μP 是同一思想。② LayerNorm 前的零初始化——某些实现把 LN 的 γ 初始化为 0(而非 1),使该 block 初始为恒等映射(F=0),训练更稳(类似 adaLN-Zero)。③ 输出投影零初始化——attention 的输出投影 W_o 与 FFN 的第二层 W_down 初始化为零(或很小),使残差分支初始输出为 0 → block 初始为恒等映射。这与 ReZero、Fixup 的思想一致('新模块初始不干扰')。④ 嵌入层的缩放——某些实现把词嵌入乘以 √d(如原始 Transformer)或 1/√d(视归一化位置),以匹配 LN 的尺度。
🏭 深度剖析与工业落地权衡
实践要点:① 为什么'初始为恒等'重要——深层网络的残差分支若初始输出较大,会逐层累积噪声,导致训练初期 loss 高、收敛慢;零初始化使初始状态等价于'更浅的网络',随训练逐步'启用'各层——这是训练稳定性的关键技巧(GPT-2/GPT-3/LLaMA 都采用某种形式)。② 与 μP 的关系——μP 系统化了这些技巧:它要求残差分支与输出层的初始化按 1/√width 缩放,使'最优学习率与宽度无关',从而实现超参迁移。③ 实践建议——若从零实现 Transformer,务必包含 (a) 残差分支缩放、(b) LN 位置(Pre-LN)、(c) 输出投影小初始化;否则深层模型可能无法收敛。④ 与微调的关系——预训练模型已包含合适的初始化;微调时新增的模块(如 LoRA、分类头)才需要初始化设计(LoRA 的 B 零初始化、分类头的随机初始化)。⑤ 诊断——若深层 Transformer 训练初期 loss 高且下降慢,或梯度范数随深度指数增长/衰减,应检查初始化缩放。⑥ 与 QK-Norm 的关系——现代 LLM(如 Gemma、Qwen)在 attention 的 Q、K 上加归一化(QK-Norm),进一步稳定 attention logits 的尺度,这是初始化之外的补充手段。
⚠️ 常见面试陷阱与高频失分点
- ✕深层 Transformer 不做残差分支缩放(训练不稳)
- ✕输出投影用标准随机初始化(初始破坏恒等路径)
🎯 面试官连环追问与延伸考察
- ?为什么残差分支要小初始化?
- ?零初始化输出层意味着什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!