GRU

GRU(Gated Recurrent Unit)是 LSTM 的简化变体, 只有两个门。更新门 $z_t = \sigma(W_z[h_{t-1}, x_t] + b_z)$ 决定保留多少历史、写入多少新信息; 重置门 $r_t = \sigma(W_r[h_{t-1}, x_t] + b_r)$ 决定多大程度丢弃历史; 候选隐藏态 $\tilde{h}_t = \tanh(W_h[r_t \odot h_{t-1}, x_t] + b_h)$; 输出 $h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t$($\odot$ 逐元素乘)。相比 LSTM: 无独立细胞状态, 遗忘门与输入门合并为更新门, 权重从 4 组减到 3 组(参数约少 25%)。更新门 $z_t \approx 0$ 时 $h_t \approx h_{t-1}$, 与 LSTM 的 $f_t \approx 1$ 一样提供加性直通路径保持长程记忆; 重置门 $r_t \approx 0$ 时忽略历史、仅由当前输入生成候选, 用于捕捉短期依赖。

参数敏感/数据量小/实时推理场景的首选循环单元(语音、时序、轻量序列模型); 面试高频对比题: GRU vs LSTM 的公式差异、参数量、表达能力与训练效率。

LSTM 的 4 个门控部件在多数任务上冗余, GRU 用 3 组权重实现几乎相当的长期记忆能力——参数量减少约 25%、单步计算更少, 在小数据与移动端场景训练更快、更不易过拟合; 代价是没有独立细胞状态, 信息存储粒度略粗(历史与输出耦合在同一 $h_t$ 中)。

默写 GRU 更新门 $z_t$、重置门 $r_t$、候选 $\tilde{h}_t$ 与输出 $h_t = (1 - z_t)h_{t-1} + z_t\tilde{h}_t$ 的公式, 并解释每个门的职责。

GRU vs LSTM 的结构差异: 为什么 GRU 参数量约少 25%(3 组 vs 4 组权重)? 没有细胞状态对记忆粒度有什么影响?

更新门 $z_t \approx 0$ 时 GRU 发生了什么($h_t \approx h_{t-1}$ 的加性直通)? 这与 LSTM 遗忘门 $f_t \approx 1$ 的机制有何对应?

重置门的作用: $r_t \approx 0$ 时候选 $\tilde{h}_t$ 只依赖当前输入, 这为什么有利于捕捉短期依赖和丢弃无用历史?

何时选 GRU 而非 LSTM: 数据量、参数量预算、推理延迟等角度; 两者在常见任务上的精度差距为何通常很小?