Recurrent Models (RNN/LSTM/GRU): 比较 LSTM 与 GRU。

Core Concept: GRU 把 LSTM 的输入门与遗忘门合并为更新门、去掉独立细胞状态，参数更少、速度更快；效果通常相当。

数学机理：<strong>LSTM</strong> 有 4 组权重（遗忘 f、输入 i、候选 g、输出 o）与<strong>两个状态</strong>（细胞 c 与隐状态 h）。<strong>GRU（Cho 等 2014）</strong> 做了三处简化：(1) <strong>合并门</strong>——把 LSTM 的输入门与遗忘门合并为一个<strong>更新门</strong> z_t，并强制两者互补：h_t=(1−z_t)⊙h_{t−1}+z_t⊙h̃_t（当 z 小时保留旧状态、z 大时写入新状态），用一个门完成'写多少/丢多少'的双向控制；(2) <strong>去掉独立细胞状态</strong>——隐状态 h_t 直接兼任'记忆'，故梯度路径更短、状态更省显存；(3) <strong>重置门</strong> r_t 作用在<strong>候选状态</strong>的计算上（h̃_t=tanh(W[r_t⊙h_{t−1}, x_t])），控制'计算新候选时忽略多少历史'。<strong>参数量</strong>：GRU 约 3/4 LSTM（少了输出门与独立状态的变换）。<strong>实证</strong>——Chung 等 (2014) 与后续大量实验显示两者在机器翻译、语音等任务上效果相当，GRU 因更少参数而训练更快、在<strong>小数据</strong>上往往更好（更少参数=更强正则）；LSTM 在需要<strong>精细的多尺度记忆控制</strong>（如需要独立控制'保留'与'输出'）的任务上可能更优。

深度剖析与工程权衡：① <strong>为什么'互补约束'不损失表达力</strong>——LSTM 的 i 与 f 独立（可同时为 1，导致 c 无界增长）；GRU 强制 i+f=1，限制了状态增长但提供了隐式正则。实践中 c 无界增长并非必需（因为门会自行学会避免），故简化可接受。② <strong>梯度路径长度</strong>——GRU 的梯度路径更短（无 c 的中间层），反向传播更直接；但 LSTM 的 c 提供了更纯粹的'恒等传送带'。这是两种不同的稳定机制。③ <strong>小数据 vs 大数据</strong>——小数据上 GRU 常更好（参数少、正则强）；大数据上两者趋同，选择更多取决于工程（显存、速度）。④ <strong>现代地位</strong>——两者在 NLP 中已被 Transformer 取代；但在<strong>时间序列预测</strong>（如股票、传感器）、<strong>流式/边缘推理</strong>、<strong>强化学习的策略网络</strong>中仍广泛使用（因 O(1) 状态与低延迟）。⑤ <strong>与 SSM 的关系</strong>——Mamba 的'选择性'机制可视为'输入依赖的门控'，与 LSTM/GRU 的门控思想一脉相承；理解门控谱系有助于理解 Mamba。⑥ <strong>面试要点</strong>——被问'LSTM vs GRU'，应给出'<strong>门数（3 vs 2）+ 状态数（2 vs 1）+ 参数量（4:3）+ 实证相当</strong>'的对比，并说明'小数据偏 GRU'这一实践规律；只答'GRU 更简单'不够。