前馈层与激活

Transformer 前馈层 $FFN(x) = W_2 \cdot GELU(W_1 x)$,占模型参数约 2/3(非嵌入参数);SwiGLU 是门控激活:$SwiGLU(x) = (SiLU(x W_g)) \cdot (x W_u) W_d$,其中 $SiLU(x) = x \cdot sigmoid(x)$ 即 Swish,中间维度从 $4d$ 降到 $\frac{8}{3}d$(LLaMA-2 7B: 隐藏维 4096 → 中间维 11008)。

LLaMA-2/3、Qwen、Mistral、Gemma 等 2023 后主流模型全部用 SwiGLU 替代 GELU MLP;面试常考"为什么用门控激活""中间维为什么是 8/3 d"以及训练时的激活显存问题。

普通 MLP 的 ReLU/GELU 无输入条件选择,信息对所有 token 固定流动;$4d$ 中间维带来大量参数与激活;SwiGLU 用输入依赖的门控让不同 token 走不同"子网络",同等参数量下质量更好,同时中间维缩小($4d \rightarrow \frac{8}{3}d$),参数与训练激活显存反而下降。

检验攻克程度：针对「前馈层与激活」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。