激活函数演进

激活函数演进是深度学习非线性来源的主线。Sigmoid 将输出压缩到 $(0,1)$: $\sigma(x)=\frac{1}{1+e^{-x}}$,导数 $\sigma'(x)=\sigma(x)(1-\sigma(x))=\sigma(1-\sigma)$,峰值仅 $0.25$,且两端饱和——深层连乘下梯度必然消失;Tanh 零中心、导数峰值为 1,仍两端饱和。ReLU: $\text{ReLU}(x)=\max(0,x)$,正区间导数恒为 1,一举解决梯度消失,但负区间梯度为 0 造成 Dead ReLU;LeakyReLU 以 $0.01x$ 修补。GELU 以标准正态 CDF $\Phi(x)$ 作概率权重: $\Phi(x)x+(1-\Phi(x))0.5x$(常用近似 $x\sigma(1.702x)$),平滑无硬截断,是 BERT/GPT 系列标配。SwiGLU 把门控思想引入 FFN: $x\sigma(xW_g)\otimes(xW_u)$,LLaMA/Mistral 等现代 LLM 用它替换 ReLU。

对比表 — Sigmoid: 输出 $(0,1)$、导数峰值 $0.25$,两端饱和梯度消失;Tanh: 零中心、导数峰值 $1$,两端饱和;ReLU: 正区间导数 $1$、负区间 $0$,Dead ReLU;LeakyReLU: 负区间斜率 $0.01$,基本缓解;GELU: $x\Phi(x)$,处处可导、无硬截断;SwiGLU: $x\sigma(xW_g)\otimes(xW_u)$,门控乘积,FFN 表达力更强。

面试必问“为什么深层网络不用 Sigmoid?”、“GPT 为什么用 GELU/SwiGLU?”;高频考点包括 $\sigma'=\sigma(1-\sigma)$ 的导数推导、各激活的饱和区间与导数范围对比、Dead ReLU 的成因与缓解,以及 FFN 激活函数从 ReLU → GELU → SwiGLU 的演进动机。

解决深层网络的梯度消失与表达力不足——Sigmoid 导数峰值 0.25,连乘 50 层信号衰减到约 $0.25^{50}$,训练几乎停滞;ReLU 正区间导数恒 1 让梯度可长距离回传;GELU/Swish 的平滑可微性改善优化;SwiGLU 门控在同参数量下表达力更强,LLaMA 报告中 SwiGLU 相对 ReLU 基线困惑度更低且训练更稳。

白板推导 Sigmoid 导数 $\sigma'(x)=\sigma(x)(1-\sigma(x))$,并解释为什么深层网络用 Sigmoid 必然梯度消失(导数峰值仅 0.25)?

ReLU 相比 Sigmoid 解决了什么?Dead ReLU 的成因与缓解手段(LeakyReLU、偏置初始化)各是什么?

写出 GELU 公式 $\Phi(x)x+(1-\Phi(x))0.5x$ 并说明性质;为什么 BERT/GPT 用 GELU 而不用 ReLU?

SwiGLU 公式 $x\sigma(xW_g)\otimes(xW_u)$ 的门控机制?为什么 LLaMA/Mistral 的 FFN 用 SwiGLU?

对比 Sigmoid/Tanh/ReLU/GELU 的导数范围与饱和/死亡问题;为什么激活输出最好零中心?