Gradient Vanishing & Explosion: 解释梯度消失与爆炸的成因与缓解。

Core Concept: 深层链式相乘使梯度按层数指数衰减/放大；用残差、归一化、合理初始化、门控（LSTM）与梯度裁剪缓解。

数学机理：反向传播时，损失对浅层参数的梯度包含<strong>逐层 Jacobian 的连乘</strong>：∂L/∂h_1=(∏_{l=1}^{L} J_l)·∂L/∂h_L，其中 J_l=∂h_{l+1}/∂h_l。若每层 Jacobian 的谱范数平均为 σ，则梯度范数约按 σ^L 缩放：σ<1 时<strong>指数消失</strong>（L=50、σ=0.9 时约 0.9⁵⁰≈0.005），σ>1 时<strong>指数爆炸</strong>。<strong>消失的常见成因</strong>：(a) 饱和激活（sigmoid 导数最大 0.25、tanh 最大 1）使 σ<1；(b) 权重初始化方差过小使每层线性映射收缩；(c) 深层连乘的累积。<strong>爆炸的常见成因</strong>：(a) 初始化方差过大；(b) 梯度在少数方向被放大；(c) RNN 中时间步连乘（同层权重反复相乘，谱半径>1 即爆炸）。<strong>缓解手段的机理</strong>：<strong>残差连接</strong>把 h_{l+1}=h_l+F(h_l) 的 Jacobian 变为 I+∂F/∂h，恒等项 I 保证梯度至少有一条'直通路径'（连乘中始终含 I，梯度不消失）；<strong>归一化</strong>（BN/LN）把每层输入拉回固定分布，使 Jacobian 范数稳定在 1 附近；<strong>合适初始化</strong>（Xavier/Kaiming）使初始 σ≈1；<strong>门控</strong>（LSTM/GRU）用遗忘门控制梯度流的衰减；<strong>梯度裁剪</strong>只处理爆炸（对消失无效，因消失时梯度本已很小）。

深度剖析与工程权衡：① <strong>残差是治本手段</strong>——残差的 Jacobian I+∂F/∂h 使 ∂L/∂h_1=(∏(I+J_l))·∂L/∂h_L；展开后包含所有子集乘积，其中恒等项贡献'长度 0 的路径'，保证梯度至少与 ∂L/∂h_L 同量级。这是 ResNet 能训练 100+ 层的根本原因。② <strong>归一化的作用</strong>——Pre-LN 使每层输入分布稳定，避免'深层输入分布漂移'导致的 Jacobian 失配；这是 Transformer 能堆叠数十层的必要条件。③ <strong>RNN 的困境</strong>——RNN 在同一权重矩阵上反复相乘（W^t），谱半径 ρ(W)≠1 时必然消失或爆炸；LSTM 用门控 + 恒定误差传送带（cell state 的加性更新）缓解，Transformer 则用注意力直接连接任意距离（路径长度 O(1)）。④ <strong>爆炸 vs 消失的不对称</strong>——爆炸表现为 loss NaN / grad_norm 尖峰（易诊断），消失表现为浅层学不动（难诊断，需逐层梯度范数分析）。⑤ <strong>实践诊断</strong>——记录每层梯度范数：健康时各层范数应在同一量级；若从深层到浅层单调衰减数个量级，即梯度消失。⑥ <strong>面试要点</strong>——回答必须包含'<strong>连乘</strong>'这一根源，并区分'爆炸用裁剪、消失用残差/归一化/初始化'的对症手段，避免把裁剪当成万能药。