LSTM 门控

LSTM(Long Short-Term Memory)通过“三门一状态”解决 RNN 的长期依赖问题。遗忘门 $f_t = \sigma(W_f[h_{t-1}, x_t] + b_f)$, 输入门 $i_t = \sigma(W_i[h_{t-1}, x_t] + b_i)$, 候选记忆 $\tilde{c}_t = \tanh(W_c[h_{t-1}, x_t] + b_c)$; 细胞状态 $c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$, 输出门 $o_t = \sigma(W_o[h_{t-1}, x_t] + b_o)$, 隐藏态 $h_t = o_t \odot \tanh(c_t)$($\odot$ 为逐元素乘, $[h_{t-1}, x_t]$ 为拼接)。关键在细胞状态是加性路径: 梯度 $\frac{\partial c_t}{\partial c_{t-1}} = f_t$ 是标量门控而非矩阵连乘, 遗忘门接近 1 时梯度可“直通”跨长距离步数, 这正是对抗梯度消失的核心。门控使 $[h_{t-1}, x_t]$ 需要 4 组权重, 参数量约为普通 RNN 的 4 倍。xLSTM(2024)沿此方向演进: sLSTM 引入指数门控与内存混合, mLSTM 用矩阵记忆和协方差更新规则提升记忆容量。

2010s 序列建模的标准答案(机器翻译、语音、时序预测), 面试中常以对比题出现: LSTM vs GRU、LSTM vs Transformer、LSTM vs Mamba; 高频追问包括逐门公式默写、加性路径的梯度分析、遗忘门初始化。

RNN 的梯度沿 $\prod W^T \mathrm{diag}(\tanh')$ 连乘, 长期记忆指数衰减; LSTM 用 $c_t = f_t c_{t-1} + i_t \tilde{c}_t$ 的加性更新把连乘变成“按门保留 + 按门写入”, 当 $f_t \approx 1$ 时梯度无衰减传播, 使 100+ 步依赖可学——以约 4 倍参数量与双激活计算为代价, 换回了可训练的长程记忆能力。

检验攻克程度：针对「LSTM 门控」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。