KV Cache & Inference Optimizations: 解释推理的吞吐-延迟权衡（TTFT / TPOT / 批大小）。

Core Concept: 增大 batch 提升吞吐但增加单请求延迟（TTFT/TPOT）；服务需在 SLO 约束下最大化吞吐。

数学机理：<strong>权衡的本质</strong>——推理服务有两个目标：(a) <strong>吞吐（throughput）</strong>：单位时间处理的 token 数或请求数；(b) <strong>延迟（latency）</strong>：单请求的响应时间，分解为 <strong>TTFT</strong>（首 token 延迟，∝prefill 时间）与 <strong>TPOT</strong>（每输出 token 时间，∝decode 每步时间）。<strong>batch 大小的影响</strong>——<strong>decode 阶段</strong>每步需读取<strong>权重（固定开销）</strong> 与 <strong>KV cache（∝batch×S）</strong>；故 (a) <strong>增大 batch</strong> 使权重读取被更多请求摊薄 → <strong>吞吐提升</strong>（这是 memory-bound 下'批处理摊薄固定成本'的典型）；(b) 但增大 batch 也增加每步的总工作量（更多 KV 读取、更多计算）→ <strong>TPOT 上升</strong>（单请求变慢）。故存在'吞吐-延迟'的帕累托前沿。<strong>goodput</strong>——在满足 SLO（如 TPOT < 50ms、TTFT < 1s）的约束下能达到的<strong>有效吞吐</strong>；这是服务优化的真正目标（而非无约束的最大吞吐）。<strong>关键洞察</strong>——decode 的吞吐随 batch 增长而<strong>饱和</strong>（因为带宽被占满后，再加 batch 只是让每个请求更慢）；故存在'最优 batch'（在 SLO 边缘）。<strong>与 prefill 的差异</strong>——prefill 是 compute-bound，其吞吐随 batch 提升到算力饱和；且 prefill 的 batch 大会显著增加 TTFT（长队列等待），故需与 decode 分开考虑（chunked prefill / PD 分离）。

深度剖析与工程权衡：① <strong>'摊薄固定成本'是 batch 收益的来源</strong>——decode 每步必读全部权重（如 7B 模型的 14 GB），若 batch=1 则这批读取只服务 1 个 token（浪费）；batch=32 则服务 32 个 token（效率提升 32 倍，直到带宽饱和）。这是'decode 必须批处理'的根本原因。② <strong>SLO 驱动的调度</strong>——现代引擎（vLLM、TensorRT-LLM）支持 (a) <strong>优先级</strong>（区分交互式与批处理）、(b) <strong>延迟 SLO 感知的调度</strong>（如'保证 TPOT 上限'）、(c) <strong>动态 batch</strong>（按当前负载调整）。③ <strong>尾延迟的重要性</strong>——平均延迟好但 P99 差是常见问题（长请求、chunk 调度不当）；故需关注<strong>尾延迟</strong>（P95/P99）而非只看均值。④ <strong>与投机解码的交互</strong>——投机解码在<strong>小 batch</strong> 时收益大（有冗余算力做验证）、大 batch 时收益小甚至负；故需按负载动态启停。⑤ <strong>与量化/压缩的关系</strong>——减少权重与 KV 的字节数，等价于提高'每字节能服务的 token 数'，故量化直接提升吞吐（在同等 SLO 下）。⑥ <strong>面试要点</strong>——被问'如何优化推理服务'，应给出'<strong>在 TTFT/TPOT 的 SLO 约束下最大化 goodput</strong>'的框架，并解释'decode 增大 batch 摊薄权重读取 → 吞吐升但 TPOT 升、且吞吐会饱和'；能提到'尾延迟'与'投机解码按负载启停'是明显加分。