Recurrent Models (RNN/LSTM/GRU): 解释 LSTM 的三个门与细胞状态的加法路径。

Core Concept: 遗忘门/输入门/输出门控制细胞状态；c_t=f⊙c_{t−1}+i⊙g 的加性更新给梯度一条近似恒等的直通路径。

数学机理：LSTM 的核心是引入<strong>细胞状态 c_t</strong>（一条贯穿时间的'传送带'）并用三个门调制它：<strong>遗忘门</strong> f_t=σ(W_f[h_{t−1},x_t]) 决定丢弃多少旧信息；<strong>输入门</strong> i_t=σ(W_i[·]) 与候选 g_t=tanh(W_g[·]) 决定写入多少新信息；<strong>输出门</strong> o_t=σ(W_o[·]) 决定从 c_t 读出多少到隐状态 h_t=o_t⊙tanh(c_t)。<strong>更新式</strong>：c_t=f_t⊙c_{t−1}+i_t⊙g_t。<strong>关键性质</strong>：∂c_t/∂c_{t−1}=<strong>f_t</strong>（逐元素，<strong>没有矩阵乘法</strong>！）。这意味着沿时间反传时，梯度连乘的是<strong>门值</strong>（标量，逐元素）而非权重矩阵——若遗忘门学到 f≈1，则梯度可以<strong>几乎无衰减地跨越很多步</strong>（称为 constant error carousel，常数误差传送带）。这与普通 RNN 的 W_h 连乘形成鲜明对比：普通 RNN 的连乘含矩阵（谱半径决定衰减），LSTM 的连乘只是 (0,1) 的标量（由门控制，可接近 1）。此外，加性更新避免了'新信息覆盖旧信息'的乘性冲突，使长期记忆与短期更新可以并存。

深度剖析与工程权衡：① <strong>门的作用机制</strong>——sigmoid 门是'软开关'：f=1 表示完全保留（长记忆模式），f=0 表示完全遗忘（重置模式）；网络通过数据学习何时切换。这使 LSTM 能同时处理'需要长记忆'与'需要快速遗忘'的任务。② <strong>参数量账本</strong>——LSTM 有 4 组权重（f/i/g/o），参数量约为普通 RNN 的 4 倍；GRU 用 3 组（更新门 z、重置门 r）约为 3 倍。这是'表达力 vs 参数量'的取舍。③ <strong>遗忘门偏置初始化</strong>——把 f 的 bias 初始化为正数（如 1）使初始时 f≈0.73~1，鼓励'默认保留'，是训练深层/长序列 LSTM 的经典技巧（Gers & Schmidhuber 的 forget gate bias）。④ <strong>与残差的同构性</strong>——c_t=f⊙c_{t−1}+(新信息) 与残差 h_{l+1}=h_l+F(h_l) 形式同构：都是'恒等路径 + 增量'；f 对应残差的恒等系数 1。这解释了为何两者都能缓解梯度消失。⑤ <strong>LSTM vs 现代架构</strong>——LSTM 的 O(1) 状态使其在流式推理上优于 Transformer（无需 KV cache 增长），但训练不可并行；Mamba 用选择性 SSM + 并行扫描把'加性递归'重新带回可并行训练，是 LSTM 思想在现代硬件上的复兴。⑥ <strong>面试要点</strong>——被问'LSTM 为什么能缓解梯度消失'，核心答案是'<strong>细胞状态的加性更新使梯度连乘的是门值而非矩阵</strong>'；能联系到残差连接是加分项。