LSTM 门控

LSTM(Long Short-Term Memory)通过“三门一状态”解决 RNN 的长期依赖问题。遗忘门 $f_t = \sigma(W_f[h_{t-1}, x_t] + b_f)$, 输入门 $i_t = \sigma(W_i[h_{t-1}, x_t] + b_i)$, 候选记忆 $\tilde{c}_t = \tanh(W_c[h_{t-1}, x_t] + b_c)$; 细胞状态 $c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$, 输出门 $o_t = \sigma(W_o[h_{t-1}, x_t] + b_o)$, 隐藏态 $h_t = o_t \odot \tanh(c_t)$($\odot$ 为逐元素乘, $[h_{t-1}, x_t]$ 为拼接)。关键在细胞状态是加性路径: 梯度 $\frac{\partial c_t}{\partial c_{t-1}} = f_t$ 是标量门控而非矩阵连乘, 遗忘门接近 1 时梯度可“直通”跨长距离步数, 这正是对抗梯度消失的核心。门控使 $[h_{t-1}, x_t]$ 需要 4 组权重, 参数量约为普通 RNN 的 4 倍。xLSTM(2024)沿此方向演进: sLSTM 引入指数门控与内存混合, mLSTM 用矩阵记忆和协方差更新规则提升记忆容量。

2010s 序列建模的标准答案(机器翻译、语音、时序预测), 面试中常以对比题出现: LSTM vs GRU、LSTM vs Transformer、LSTM vs Mamba; 高频追问包括逐门公式默写、加性路径的梯度分析、遗忘门初始化。

RNN 的梯度沿 $\prod W^T \mathrm{diag}(\tanh')$ 连乘, 长期记忆指数衰减; LSTM 用 $c_t = f_t c_{t-1} + i_t \tilde{c}_t$ 的加性更新把连乘变成“按门保留 + 按门写入”, 当 $f_t \approx 1$ 时梯度无衰减传播, 使 100+ 步依赖可学——以约 4 倍参数量与双激活计算为代价, 换回了可训练的长程记忆能力。

默写 LSTM 三门一状态公式(遗忘/输入/输出门、候选 $\tilde{c}_t$、细胞状态 $c_t$、隐藏态 $h_t$), 并说明每个门各自的职责。

为什么 LSTM 能缓解梯度消失? 推导 $\frac{\partial c_t}{\partial c_{t-1}} = f_t$ 的加性路径, 说明遗忘门 $f_t \approx 1$ 时梯度为何可以直通长距离。

遗忘门偏置为什么要初始化为较大正值($b_f \approx 1$)? 遗忘门过早饱和到 0 会发生什么(细胞状态被清空、长记忆丢失)?

LSTM 与 GRU 的结构与参数对比: GRU 把遗忘+输入门合并为更新门、去掉独立细胞状态, 参数量从 4 组权重降到 3 组; 表达能力与训练效率的权衡是什么?

xLSTM(2024)改进了什么: sLSTM 的指数门控/内存混合与 mLSTM 的矩阵记忆/协方差更新各自解决什么问题?