Recurrent Models (RNN/LSTM/GRU): 解释梯度裁剪在 RNN 中的必要性。

Core Concept: RNN 的梯度含同一矩阵的 T 次幂，谱半径略大于 1 即指数爆炸；裁剪把全局范数限制在上界，是训练稳定的必要条件。

数学机理：RNN 的梯度含 ∏_{k}diag(1−h_k²)W_h，其范数约 ~ρ(W_h)^T·∏(1−h_k²)。当 ρ(W_h) 略大于 1（如 1.1）且 T=100 时，1.1¹⁰⁰≈13781——<strong>梯度在几十步内即可放大几个量级</strong>。这导致：单步参数更新过大 → 参数跳出合理区域 → 下一步 loss 爆炸 → 梯度变成 inf/NaN，训练<strong>一次即崩</strong>。<strong>梯度裁剪</strong>把梯度的全局范数限制在阈值 c：g←g·min(1, c/‖g‖)。<strong>为什么必须用全局范数</strong>——逐元素裁剪（by value）会改变梯度方向，破坏各分量的相对关系；全局范数只等比缩放、保持方向（详见 M3 的裁剪题）。<strong>为什么 LSTM/GRU 也需要</strong>——门控缓解了<strong>消失</strong>，但<strong>爆炸</strong>仍可能发生（因为反向传播仍经过 W 的连乘，只是被门值调制）；故所有 RNN 系（含 LSTM/GRU）训练都标配裁剪。<strong>阈值选择</strong>：文献常用 c=1~5（Pascanu 等 2013 建议按'梯度范数的滑动平均'自适应设定）。<strong>与消失的不对称</strong>：裁剪只限制<strong>上界</strong>，对已很小的梯度无能为力——故'裁剪治爆炸、门控/残差治消失'，两者分工明确。

深度剖析与工程权衡：① <strong>裁剪比例的诊断价值</strong>——记录'被裁剪的 step 比例'：健康训练中应偶发（<5%~10%）；若长期频繁裁剪，说明 lr 过大、序列过长或初始化不当，需从根因入手而非继续调 c。② <strong>自适应裁剪</strong>——Pascanu 等提出用梯度范数的历史统计（如滑动平均）自动设 c；也有按'参数范数与梯度范数之比'的 AGC（自适应梯度裁剪，见 M3）。③ <strong>与 teacher forcing 的关系</strong>——teacher forcing 下每步输入真实 token，梯度路径较稳定；一旦改用 scheduled sampling 或纯自回归，梯度波动更大，对裁剪更敏感。④ <strong>truncated BPTT 的配合</strong>——截断反向传播把 T 限制在窗口内，本身就降低了爆炸概率；故'截断 + 裁剪'是 RNN 训练的标准组合。⑤ <strong>与现代架构的对照</strong>——Transformer 也需要梯度裁剪（LLM 标配 global norm clip=1.0），原因类似（偶发的大梯度尖峰）；说明'裁剪'是通用的稳定性保险，不是 RNN 专属。⑥ <strong>面试要点</strong>——被问'RNN 为什么必须裁剪'，应给出'<strong>同一矩阵 T 次幂 → 指数爆炸 → 一步 NaN</strong>'的因果链，并说明'裁剪治爆炸、门控治消失'的分工；能提到'Transformer 也用裁剪'体现横向视野。