Activation Functions: 激活函数的选择如何影响数值稳定性与训练速度？

Core Concept: 饱和函数数值不稳（梯度消失 + exp 溢出）；分段/平滑函数更快；注意 FP16 下的溢出区间。

数值稳定性影响：① <strong>饱和与梯度</strong>——sigmoid/tanh 在大 |x| 时导数趋于 0，导致梯度消失（训练变慢甚至停滞）；且反向传播中的局部导数极小会加剧数值下溢（尤其 FP16 下可能直接下溢为 0）。② <strong>指数溢出</strong>——sigmoid/tanh/GELU 都含 exp；在 FP16 下（最大 65504），x 稍大（如 x>11）即 eˣ 溢出为 inf，导致 NaN。故实现 sigmoid 需<strong>分段计算</strong>（x≥0 用 1/(1+e⁻ˣ)，x<0 用 eˣ/(1+eˣ)），避免 exp 溢出。③ <strong>精度损失</strong>——GELU 的 erf 近似在 FP16 下误差较大；某些框架在低精度下用查表或更简单的近似，可能引入偏差。<strong>训练速度影响</strong>：① <strong>计算成本</strong>——ReLU 最便宜（1 次比较）；LeakyReLU/ELU 需额外运算；GELU 精确式需 erf（贵）、tanh 近似中等；SiLU 需一次 sigmoid。② <strong>稀疏性</strong>——ReLU 的稀疏激活（约 50% 为 0）在<strong>稀疏矩阵乘</strong>与<strong>激活压缩</strong>场景可提速（但现代 GPU 的稠密算力占主导，稀疏收益有限）。③ <strong>内存带宽</strong>——激活需写回显存（用于反向），更简单的激活减少计算但不改变内存访问。<strong>实践要点</strong>：① <strong>FP16 下的选择</strong>——避免 tanh/sigmoid（易饱和与溢出）；优先 GELU/SiLU（分段实现 + 范围适中）。② <strong>稳定实现</strong>——使用框架提供的稳定版本（<code>torch.nn.functional.gelu</code>、<code>silu</code>）；自实现时注意分段。③ <strong>融合内核</strong>——推理引擎（TensorRT/vLLM）会融合激活与相邻算子（如 GELU+matmul），减少内存往返；故优先用<strong>标准激活</strong>以获得融合优化。④ <strong>诊断</strong>——若出现 NaN 且定位到激活，检查 (a) 输入范围是否过大（logits 未归一化）、(b) 是否在 FP16 下用 exp 类激活、(c) 是否需要加 LN/BN 限制输入范围。⑤ <strong>与归一化的配合</strong>——LN/BN 把激活输入限制在合理范围，间接改善数值稳定性；故'归一化 + 平滑激活'是稳定训练的组合。

深度剖析与工程权衡：① <strong>三段式稳定实现</strong>——工业实现 sigmoid 一律分段：x≥0 用 1/(1+e⁻ˣ)、x<0 用 eˣ/(1+eˣ)，两段都不会出现大指数；PyTorch/CUDA 内核即如此。同理 <strong>softmax 减最大值</strong>（max-subtraction）是标准写法：exp(xᵢ−max) 保证指数 ≤0，永不上溢。② <strong>激活的代价梯度</strong>——ReLU 最廉价（1 次 max）；SiLU 需 1 次 sigmoid；GELU 精确式需 erf（昂贵，约 10+ 周期）、tanh 近似约 2 次超越函数。现代框架默认 GELU 用 tanh 近似正是此权衡。③ <strong>稀疏性红利与现实</strong>——ReLU 约 50% 输出为 0，理论上可省算力；但 GPU 稠密算力占绝对主导，只有结构化稀疏（2:4）硬件才真正兑现收益，故'稀疏加速'多为纸面优势。④ <strong>低精度（FP16/BF16）下的关键</strong>——FP16 动态范围窄（最大 65504、最小正规数约 6e-5），exp 极易上溢、梯度极易下溢；<strong>BF16 范围与 FP32 相同</strong>（8 位指数），故大模型训练几乎一律用 BF16 而非 FP16，正是因为激活/梯度溢出问题被 BF16 直接消除。⑤ <strong>融合内核</strong>——vLLM/TensorRT 把激活与相邻 matmul 融合为单一 kernel，减少显存往返；<strong>代价是只支持标准激活</strong>，自定义激活会打破融合、显著变慢。⑥ <strong>诊断流程</strong>——出现 NaN 时按此顺序排查：(a) 输入是否被 LN 限制住、(b) 是否在 FP16 下用了 exp 类激活、(c) 学习率是否过大导致参数爆炸、(d) 是否需要梯度裁剪。