Activation Functions: 解释 dying ReLU，以及 LeakyReLU/ELU/GELU 如何缓解。

Core Concept: 负区间梯度为 0 使神经元永久失活；带负斜率或平滑负区间可缓解。

死亡机制：ReLU 在 x≤0 时输出 0 且<strong>梯度为 0</strong>。若某神经元的权重在更新后使它对<strong>所有训练样本</strong>的输入都为负，则它的输出恒为 0、梯度恒为 0，<strong>永久无法恢复</strong>（因为梯度为 0 就没有更新的信号）——这就是'死亡 ReLU'。<strong>加剧因素</strong>：① <strong>大学习率</strong>——一次大的更新可能把权重推到'所有输入都负'的区域；② <strong>负偏置</strong>——初始或更新后偏置过负；③ <strong>初始化不当</strong>——若初始化方差过大，激活分布偏负。<strong>后果</strong>：有效容量下降（死亡神经元不再贡献）；若大量神经元死亡（如 >50%），模型表达力严重受损。<strong>四种缓解</strong>：① <strong>LeakyReLU</strong>——负区间输出 αx（α=0.01–0.2），梯度恒为 α≠0，永不死亡；② <strong>ELU</strong>——负区间 α(eˣ−1)，输出接近零中心（改善收敛）且梯度非零，但含 exp 较贵；③ <strong>GELU</strong>——x·Φ(x)，在负区间有小的非零梯度（平滑过渡），且是<strong>非单调</strong>的（在 x≈−0.75 处有最小值）；④ <strong>SiLU/Swish</strong>——x·σ(x)，性质与 GELU 相似但计算更便宜（只需 sigmoid）。

实践要点：① <strong>诊断死亡比例</strong>——在前向传播后统计每层输出为 0 的比例（对 ReLU），若某层 >50% 说明死亡严重；可用 hook 监控。② <strong>GELU vs SiLU</strong>——GELU 用标准正态 CDF Φ（精确式含 erf，近似式用 tanh）；SiLU 用 sigmoid。两者形状相似（SiLU 稍简单、GELU 在 x 略负处更平），实验上差异很小；LLaMA 用 SiLU（SwiGLU），BERT/GPT 用 GELU。③ <strong>为什么 Transformer 偏好平滑激活</strong>——(a) 平滑 → 二阶可导 → 优化更稳；(b) 负区间有小梯度 → 无死亡问题；(c) 实验上语言建模效果更好（可能与梯度平滑性有关）。④ <strong>LeakyReLU 的 α</strong>——常用 0.01（小斜率，保持近似稀疏性）；α 过大（如 0.3）会使负区间信息过多、损失 ReLU 的稀疏优势；<strong>PReLU</strong> 让 α 可学习（但增加参数、可能过拟合）。⑤ <strong>与归一化的配合</strong>——BN/LN 会重新标准化激活，显著降低死亡风险（因为激活分布被拉回零中心附近）；故'有归一化的网络死亡 ReLU 问题较轻'。⑥ <strong>实践建议</strong>——现代网络（尤其 Transformer）直接用 GELU/SiLU，不必纠结 ReLU 的死亡问题；若必须用 ReLU，应配归一化 + 合理初始化 + 适中学习率。