GRU

GRU(Gated Recurrent Unit)是 LSTM 的简化变体, 只有两个门。更新门 $z_t = \sigma(W_z[h_{t-1}, x_t] + b_z)$ 决定保留多少历史、写入多少新信息; 重置门 $r_t = \sigma(W_r[h_{t-1}, x_t] + b_r)$ 决定多大程度丢弃历史; 候选隐藏态 $\tilde{h}_t = \tanh(W_h[r_t \odot h_{t-1}, x_t] + b_h)$; 输出 $h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t$($\odot$ 逐元素乘)。相比 LSTM: 无独立细胞状态, 遗忘门与输入门合并为更新门, 权重从 4 组减到 3 组(参数约少 25%)。更新门 $z_t \approx 0$ 时 $h_t \approx h_{t-1}$, 与 LSTM 的 $f_t \approx 1$ 一样提供加性直通路径保持长程记忆; 重置门 $r_t \approx 0$ 时忽略历史、仅由当前输入生成候选, 用于捕捉短期依赖。

参数敏感/数据量小/实时推理场景的首选循环单元(语音、时序、轻量序列模型); 面试高频对比题: GRU vs LSTM 的公式差异、参数量、表达能力与训练效率。

LSTM 的 4 个门控部件在多数任务上冗余, GRU 用 3 组权重实现几乎相当的长期记忆能力——参数量减少约 25%、单步计算更少, 在小数据与移动端场景训练更快、更不易过拟合; 代价是没有独立细胞状态, 信息存储粒度略粗(历史与输出耦合在同一 $h_t$ 中)。

检验攻克程度：针对「GRU」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。