Cost & Latency Optimization: 解释端到端推理延迟的分解与 SLO 驱动的优化。

Core Concept: 端到端延迟 = 排队 + prefill（首 token）+ decode（TPOT × 输出长度）+ 网络与后处理；优化应先定位最大项，再针对性用批处理/缓存/量化/并行化。

数学机理：<strong>延迟分解</strong>——(1) <strong>排队延迟 L_queue</strong>——(a) 请求在网关/调度队列中的等待；(b) 受并发、批处理策略、优先级影响；(c) 高峰期主导项。(2) <strong>prefill 延迟 L_prefill</strong>——(a) 处理全部输入 token 的时间；(b) <strong>与输入长度近似线性</strong>（O(T_in²) 的注意力 + O(T_in·N) 的投影）；(c) <strong>决定 TTFT</strong>（首 token 时间）；(d) 长上下文（如 RAG 塞入大量文档）会显著抬升。(3) <strong>decode 延迟</strong>——(a) <strong>TPOT</strong>——每生成一个 token 的耗时，受 batch 大小、KV 长度（注意力随已生成长度增长）、显存带宽影响；(b) <strong>总 decode 时间 = TPOT × T_out</strong>；(c) <strong>输出长度主导总时长</strong>。(4) <strong>网络与后处理 L_net + L_post</strong>——(a) 网关转发、TLS、序列化；(b) 检索（RAG 的向量检索 + 重排）；(c) 安全过滤、格式校验、后处理规则；(d) 多轮 Agent 场景下每步都有这些开销，会累积。(5) <strong>SLO 与优化映射</strong>——(a) <strong>TTFT 超标</strong> → 优化 prefill（前缀缓存、chunked prefill、更快的 kernel）；(b) <strong>TPOT 超标</strong> → 优化 decode（批处理、量化、KV 压缩、推测解码）；(c) <strong>总时长超标</strong> → 控制输出长度（提示词约束、max_tokens、流式）；(d) <strong>排队超标</strong> → 扩容、优先级调度、限流；(e) <strong>后处理超标</strong> → 并行化检索、异步过滤。(6) <strong>流式输出</strong>——(a) <strong>感知延迟</strong>——用户看到首 token 即可开始阅读，感知延迟 ≈ TTFT 而非总时长；(b) <strong>故 TTFT 对体验更关键</strong>；(c) 配合增量渲染。(7) <strong>尾延迟</strong>——(a) <strong>P95/P99 才是 SLO</strong>——平均值掩盖长尾；(b) <strong>长尾来源</strong>——超长输入/输出、缓存未命中、GC、队列抖动；(c) <strong>对策</strong>——输入长度上限、超时与降级、分池隔离。(8) <strong>测量</strong>——(a) <strong>分段埋点</strong>——在每个阶段打点（网关→检索→prefill→decode→后处理）；(b) <strong>trace</strong>——端到端调用链；(c) <strong>对比</strong>——P50/P95/P99 分位数。<strong>与其他问题的关系</strong>——(a) 与批处理的吞吐-延迟权衡；(b) 与可观测性三支柱（测量）；(c) 与容量规划（排队）；(d) 与降级（超时）。<strong>度量</strong>——(a) TTFT；(b) TPOT；(c) 端到端 P50/P95/P99；(d) 各阶段占比。

深度剖析与工程权衡：① <strong>先分解再优化</strong>——不分解就优化等于盲猜；面试中能给出完整分解式是深度理解的标志。② <strong>TTFT 与总时长的驱动因素不同</strong>——TTFT 看 prefill（输入长度），总时长看 decode（输出长度）。③ <strong>流式输出改变体验指标</strong>——感知延迟 ≈ TTFT。④ <strong>P99 才是 SLO</strong>——平均值会掩盖长尾。⑤ <strong>多轮 Agent 场景延迟累积</strong>——每轮的网关/检索/后处理都叠加。⑥ <strong>前缀缓存与 chunked prefill 是 prefill 优化主力</strong>——对含固定系统提示词的场景收益巨大。⑦ <strong>面试要点</strong>——被问怎么降低推理延迟，应给出'<strong>先分段埋点定位瓶颈（排队/prefill/decode/网络/后处理）→ 针对性优化 → 按 P95/P99 验证 → 流式改善感知</strong>'；能指出 TTFT 与总时长的驱动因素不同是深度理解的标志。