Normalization Techniques: 解释归一化在推理期的算子融合与它对性能的影响。

Core Concept: 把 LN/BN 折进相邻线性层或融合成单个内核，减少内存往返与启动开销。

融合的两种形式：① <strong>精确折叠（BN 可折）</strong>——推理时 BN 的归一化是<strong>逐通道的仿射变换</strong>（μ_run、σ_run 固定），故可把它<strong>折进前一个卷积/线性层的权重与偏置</strong>：W'=W·γ/√(σ²+ε)、b'=(b−μ)·γ/√(σ²+ε)+β。这样推理时<strong>完全不需要</strong> BN 层（零额外开销），是推理引擎的标准优化（TensorRT、ONNX Runtime 都做）。② <strong>内核融合（LN 可融）</strong>——LN 的统计量依赖<strong>每个样本的激活</strong>（动态），故无法折进权重；但可以把 LN 的多个算子（均值、方差、归一化、仿射）<strong>融合成单个 GPU 内核</strong>，避免中间结果的显存往返与内核启动开销。<strong>为什么 LN 不能折</strong>：BN 的统计量在推理时是<strong>常量</strong>（running 统计），故是静态仿射；LN 的统计量是<strong>输入的动态函数</strong>，故必须在运行时计算。<strong>融合的收益</strong>：(a) 减少显存带宽（激活的读写是推理的主要瓶颈，尤其 decode 阶段）；(b) 减少内核启动开销（GPU 上每个内核有固定开销）；(c) 提升 GPU 利用率（更少的空闲等待）。实践中融合能带来 10–30% 的推理加速（视算子组合与硬件）。

实践要点：① <strong>推理引擎的自动融合</strong>——TensorRT、ONNX Runtime、vLLM 等会自动做算子融合（如 LayerNorm+matmul、GELU+matmul、attention 的整个块融合）；故<strong>使用标准算子</strong>（而非自定义实现）能享受这些优化。② <strong>训练时的融合</strong>——torch.compile、JAX 的 XLA 也会做融合（提升训练速度）；但训练时 BN 不能折（因为统计量在更新），只能融合激活函数等。③ <strong>与量化的交互</strong>——量化（INT8/FP8）与融合常结合（如 fused quantized matmul + LN）；但融合可能限制量化的灵活性（需按引擎支持的方式组织算子）。④ <strong>FlashAttention 是极端案例</strong>——它把整个 attention（QKᵀ、softmax、AV）融合成单个内核，避免物化 L×L 矩阵，这是'融合'思想的最大收益场景（内存 O(L²)→O(L)、速度 2–4×）。⑤ <strong>实践建议</strong>——(a) 推理优先用成熟的推理引擎（不要手写 CUDA 除非必要）；(b) 保持算子标准（避免阻止融合的自定义实现）；(c) 用 profiler 确认瓶颈（是算子计算还是内存带宽），再决定优化方向。⑥ <strong>注意</strong>——融合有时会牺牲数值精度（如把 FP32 的 LN 融进 FP16 的 matmul），需验证精度回归。