RNN 与 BPTT

RNN(循环神经网络)是序列建模的基础模型, 核心是跨时间步共享权重。隐状态递推 $h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$, 输出 $y_t = W_{hy}h_t$: 每个时刻复用同一组 $W_{hh}, W_{xh}$, 与 DNN/CNN 逐层独立的权重形成对比。训练用 BPTT(Backpropagation Through Time): 把时间维展开成 $T$ 层“虚拟网络”做反向传播, 梯度沿 $\frac{\partial h_T}{\partial h_1} = \prod_{t=2}^{T} \frac{\partial h_t}{\partial h_{t-1}} = \prod_{t=2}^{T} W_{hh}^T \mathrm{diag}(\tanh'(h_{t-1}))$ 连乘传递——这就是梯度消失/爆炸的数学根源: 当谱半径 $\rho(W_{hh}) < 1$ 时乘积指数衰减($0.9^{50} \approx 0.005$), 相隔 50 步的依赖几乎学不到; 当 $> 1$ 时梯度爆炸。此即“长期依赖困境”。

文本/语音/时序等序列数据的入门模型, 面试中作为“RNN → LSTM/GRU → Transformer/Mamba”演进链的第一环; 高频追问包括 BPTT 推导、BPTT 与标准 BP 的区别、梯度消失/爆炸的数学解释与缓解手段(梯度裁剪、正交初始化、门控、截断 BPTT)。

相比定长窗口模型(N-gram、1D-CNN), 权重共享使参数量与序列长度无关(单步 $O(d^2)$), 并能处理变长序列、在原理上编码任意长程依赖。代价是连乘式梯度传播使长期记忆指数失效, 因此被 LSTM/GRU 的加性门控路径取代, 而 Transformer/Mamba 则从并行性与复杂度两个方向进一步演进。

检验攻克程度：针对「RNN 与 BPTT」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。