Gradient Vanishing & Explosion: 解释残差连接与归一化如何共同保证梯度流。

Core Concept: 残差提供恒等直通路径（Jacobian 含 I），归一化稳定每层输入分布；两者合起来使深层网络的梯度尺度不随深度衰减。

数学机理：<strong>残差</strong>的 Jacobian 为 I+∂F/∂h_l，故 ∂L/∂h_1=(∏_{l=1}^{L}(I+J_l))·∂L/∂h_L。把连乘展开，得到形如 Σ_{S⊆{1..L}} ∏_{l∈S}J_l 的所有子集乘积之和；其中 <strong>S=∅ 项为 I</strong>（恒等映射），贡献'长度 0 的直通路径'，保证梯度至少与 ∂L/∂h_L 同量级，<strong>不会指数衰减</strong>。<strong>归一化</strong>（尤其 Pre-LN）的作用是让每层的输入 h_l 分布稳定（均值 0、方差 1 附近），从而使 J_l=∂F/∂h_l 的谱范数稳定在 1 附近——若输入分布随深度漂移（Post-LN 的早期问题），J_l 的尺度会逐层变化，连乘后仍可能失衡。两者合力的效果：残差保证'有路径'，归一化保证'路径上的缩放可控'，共同使 ∂L/∂h_1 与 ∂L/∂h_L 同量级。<strong>Pre-LN vs Post-LN 的差异</strong>：Post-LN（原 Transformer）把 LN 放在残差相加<strong>之后</strong>，导致残差路径被 LN 打断（恒等项被归一化修改），深层梯度尺度不稳、<strong>必须用 warmup</strong> 才能训练；Pre-LN 把 LN 放在子层<strong>之前</strong>，残差路径保持纯净恒等，<strong>无需 warmup</strong> 即可稳定训练——这是现代 Transformer 全用 Pre-LN 的原因。

深度剖析与工程权衡：① <strong>Pre-LN 的代价</strong>——残差路径无归一化，导致深层激活方差随深度<strong>累积增长</strong>（残差相加使方差线性增长），故最终输出需要一次 LN（final norm）来稳定；这解释了为什么 Pre-LN 模型末端总有 LayerNorm。② <strong>Post-LN 的复兴</strong>——某些超深模型（如部分 ViT 变体、DeepNorm）通过特殊初始化 + 缩放残差（DeepNorm）重新启用 Post-LN 以获得更好性能；DeepNorm 用 α·F(h) 的缩放残差控制方差增长。③ <strong>与初始化的耦合</strong>——残差网络的标准做法是把残差分支的最后一层初始化得更小（如 ×1/√(2L)），使初始时 F≈0、网络近似恒等映射（'identity initialization'），进一步改善早期梯度流。④ <strong>注意力中的对应</strong>——注意力层同样有残差，且 QK-Norm 等对注意力输入做归一化，进一步稳定梯度。⑤ <strong>实证诊断</strong>——训练深层网络时逐层记录梯度范数，若浅层与深层范数同量级则梯度流健康；若浅层明显小则需检查残差/LN 的位置。⑥ <strong>面试要点</strong>——被问'为什么 Transformer 能堆 100 层'，答案应包含'<strong>残差恒等路径 + Pre-LN 的分布稳定 + 小初始化</strong>'三要素，而非只说残差。