Activation Functions: 激活函数的平滑性如何影响量化（INT8/INT4）推理的精度？

Core Concept: ReLU 有精确零点、分段线性，量化友好；GELU/SiLU 平滑且分布连续，量化误差更大，需逐 token 动态量化或保留高精度。

数学机理：量化把连续值映射到有限格点，误差 Δ 由<strong>动态范围</strong>与<strong>分辨率</strong>共同决定。设激活值域为 [−a, a]、位宽 b，则步长 Δ_s=2a/(2^b−1)，量化误差上界为 Δ_s/2。<strong>ReLU</strong> 有两个天然优势：(a) 输出值域为 [0, ∞) 且<strong>精确的 0</strong>（负半轴恒 0），而 0 在定点/整数表示下无误差，稀疏的零值不贡献误差；(b) 分段线性意味着在每段内是恒等映射，量化只引入斜率误差、不放大。<strong>GELU/SiLU</strong> 的困难：(a) 无精确零点、分布连续，绝大多数值落在 (−1, 1) 的平滑区间，量化格点在这里'最稀疏'地覆盖密集分布，相对误差大；(b) 存在<strong>长尾离群值</strong>（个别通道激活可达均值的数十倍），若按全局范围定量化步长，正常值会被压到极少数格点上、精度崩塌——这正是 LLM.int8() 要<strong>把离群通道单独拆出来做 FP16</strong> 的原因。

深度剖析与工程权衡：① <strong>激活比权重更难量化</strong>——权重分布近似钟形且静态，激活是<strong>逐 token 动态变化</strong>且含离群值，这是 LLM 量化的核心矛盾；W8A8 失败往往源于激活而非权重。② <strong>per-token / per-channel 量化</strong>——把量化粒度细化到每个 token（激活）或每个通道（权重），使步长适配局部范围，是 AWQ/SmoothQuant 的共同思想。③ <strong>SmoothQuant 的关键洞察</strong>——激活难量化是因为离群值，而权重量化相对容易；于是把激活的难度<strong>按通道</strong>转移到权重上（缩放激活缩小其范围、反向缩放权重放大其范围），使两者都落进 8-bit 友好区间。④ <strong>激活感知保护（AWQ）</strong>——不是所有通道同等重要，保护 1% 的显著通道（scale up 后再量化）即可大幅降低误差；这与激活函数的平滑性叠加，构成量化误差的两个来源。⑤ <strong>实践中激活函数的选择</strong>——若从零设计且需极致量化，ReLU 系（含 GELU 的 ReLU 近似）更友好；但若用预训练 LLM，激活固定为 GELU/SiLU，只能在量化算法上补偿。⑥ <strong>反直觉点</strong>——平滑激活虽对量化不友好，但对<strong>训练</strong>更友好（梯度连续、损失面更平滑），故大模型一律选平滑激活 + 量化算法补偿，而非为了量化退回 ReLU。