Gradient Vanishing & Explosion: 解释 per-layer / adaptive 梯度裁剪（AGC）。

Core Concept: 逐层按'梯度范数 / 参数范数'的比值裁剪，自适应各层尺度；比全局裁剪更能处理层间梯度失衡。

数学机理：<strong>全局裁剪</strong>（global norm）用所有参数共享一个阈值 c：g←g·min(1,c/‖g‖)。问题在于：若某层梯度异常大（如输出层）而其他层正常，全局裁剪会把<strong>所有层</strong>一起缩小，导致正常层'被过度压制'、学习变慢。<strong>AGC（Adaptive Gradient Clipping）</strong> 的洞察是：判断'梯度是否异常'应看<strong>相对量</strong>而非绝对量——用该层的'梯度范数 / 参数范数'比值 λ_l=‖g_l‖/‖θ_l‖ 作为指标（因为参数更新 Δθ 的相对影响由 ‖Δθ‖/‖θ‖ 决定）。若 λ_l>k（阈值，常取 0.01~0.16），则该层梯度被缩放 k/λ_l；否则不动。这样：梯度大但参数也大的层不会被误裁，梯度虽小但相对参数异常大的层会被压制。AGC 最初用于 NFNets（无归一化网络）以稳定训练，后也被用于其他架构。<strong>与全局裁剪的关系</strong>：AGC 是'逐层 + 相对量'的裁剪，全局裁剪是'全局 + 绝对量'；两者可叠加（先 AGC 后全局）。

深度剖析与工程权衡：① <strong>为什么在无归一化网络中更重要</strong>——BN/LN 本身会把各层的激活尺度归一化，从而间接稳定梯度尺度；NFNet 去掉了 BN，各层尺度可能严重失衡，故需 AGC 逐层校正。② <strong>与 update ratio 的联系</strong>——AGC 的 λ_l=‖g_l‖/‖θ_l‖ 正是'每步参数相对移动量'（在 η=1 时）；健康训练中该比值应约 1e-3；k=0.01 意味着'允许的最大相对移动 1%'，是宽松的上界。③ <strong>超参 k 的选择</strong>——k 太小（如 0.001）会频繁裁剪、训练变慢；k 太大（如 1）几乎不裁剪；NFNet 报告 k=0.01 附近最优，且与 batch size 有关（大 batch 可用更小的 k）。④ <strong>与全局裁剪的取舍</strong>——大模型（Transformer）因有 LN，层间梯度尺度已较均衡，故常用<strong>全局裁剪</strong>（简单、开销低）；AGC 主要用于无归一化或层间尺度差异大的架构。⑤ <strong>实现成本</strong>——AGC 需逐层计算范数与缩放，开销小（O(参数量)）；但需为每层单独处理，代码稍复杂。⑥ <strong>面试要点</strong>——提到 AGC 时的加分点是'用<strong>相对</strong>尺度而非绝对尺度做判据'这一核心思想；并能说明'有 LN 的网络通常不需要 AGC'，体现架构与技巧的匹配意识。