Quantization & Acceleration: 解释批处理、内核融合与算子优化对推理吞吐的影响。

Core Concept: 批处理摊薄权重读取（memory-bound 的关键）；融合减少中间张量读写；算子优化（如 Flash）提升单算子效率。

数学机理：<strong>三类系统级优化</strong>。<strong>(1) 批处理（batching）</strong>——decode 阶段每步需读取<strong>全部权重</strong>（固定开销，如 7B 模型的 14 GB）；若 batch=1，则这批读取只服务 1 个 token（极度浪费带宽）；batch 越大，同一批权重读取服务的 token 越多，<strong>单位 token 的权重读取量降为 1/B</strong>。故批处理把'权重读取'这一固定成本摊薄，是 decode 吞吐提升的<strong>最大来源</strong>（配合连续批处理可提升数倍到数十倍）。<strong>限制</strong>——KV cache 显存 ∝batch×S，故 batch 大小受显存约束（这正是 KV 压缩技术的价值）。<strong>(2) 内核融合（kernel fusion）</strong>——把多个连续算子合并为一个 kernel，避免中间张量写入/读取 HBM；对 memory-bound 的逐元素/归约算子（GELU、LayerNorm、残差、dropout），融合可把 HBM 访问从 O(k·N) 降到 O(N)（k 为融合的算子数）。典型：FFN 的 gate/up 合并、LayerNorm+残差融合、fused Adam。<strong>(3) 算子优化（optimized kernels）</strong>——针对单个复杂算子（如注意力）设计高效实现：Flash Attention（分块 + 在线 softmax，减少访存 2~4 倍）、PagedAttention（KV 内存管理）、量化 kernel（INT4 反量化 + 矩阵乘融合）。<strong>三者的区别与关系</strong>——批处理是'<strong>调度层</strong>'（如何组织请求）、融合是'<strong>编译层</strong>'（如何合并算子）、算子优化是'<strong>实现层</strong>'（如何写单个 kernel）；三者<strong>正交、可叠加</strong>（如：连续批处理 + torch.compile 融合 + Flash Attention + INT4 量化）。<strong>量化收益</strong>——(a) 批处理：2~36 倍（取决于长度分布）；(b) 融合：1.2~2 倍（逐元素算子多的场景更明显）；(c) Flash Attention：2~4 倍（长序列注意力）。

深度剖析与工程权衡：① <strong>'批处理是 decode 的第一优化'</strong>——因为 decode 是 memory-bound 且固定成本（权重读取）巨大；故任何推理引擎的首要任务是'把 batch 做大'（用连续批处理 + PagedAttention + KV 压缩）。这也解释了为何'KV 显存'直接决定吞吐上限。② <strong>融合与算子优化的边界</strong>——融合处理'多个简单算子'，算子优化处理'单个复杂算子'；两者都遵循'减少 HBM 访存'的原则（memory-bound 时代的第一性原理）。③ <strong>与编译器的关系</strong>——torch.compile（Inductor）、TensorRT、XLA 都能自动做融合与算子选择；故用户可用'一行代码'获得部分收益；但极致性能仍需手工 kernel（如 Flash Attention）。④ <strong>与量化的协同</strong>——量化减少字节数（提高有效算术强度）、融合减少访存（也提高强度）；两者叠加可把 memory-bound 算子推向 compute-bound 区域。⑤ <strong>与 SLO 的权衡</strong>——大 batch 提升吞吐但增加单请求延迟（TPOT）；故需在 SLO 约束下最大化 goodput（见吞吐-延迟题）。⑥ <strong>面试要点</strong>——被问'如何提升推理吞吐'，应给出'<strong>批处理（摊薄权重读取，decode 第一优化）+ 融合（减少 HBM 往返）+ 算子优化（Flash/Paged/量化 kernel）</strong>'三层框架，并说明'三者正交可叠加'与'都服务于减少访存'；能指出'KV 显存决定 batch 上限 → 决定吞吐'是深度理解的标志。