M4-058M4: 序列与 TransformerKV Cache 与推理优化Easy
⚡闪卡盲测➔掌握度:

解释 prefill 与 decode 两阶段的差异。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-059 →
📐 核心数学机理公式
prefill:L queries parallel, compute-bound;decode:1 query, memory-bound\text{prefill}: L\ \text{queries parallel},\ \text{compute-bound};\qquad \text{decode}: 1\ \text{query},\ \text{memory-bound}
⚡ 一句话直击要害答案
prefill 并行处理输入(compute-bound、算力密集);decode 逐 token 生成(memory-bound、读 KV);两者需不同优化。

📌 核心要点提炼

  • •
    prefill:整段输入并行,大矩阵乘,算力受限
  • •
    decode:每步 1 token,读整个 KV cache,带宽受限
  • •
    TTFT 由 prefill 决定;TPOT 由 decode 决定

📐 数学机理与严密推导

数学机理:prefill(预填充)——处理用户输入的整段 prompt(长度 L),所有位置的 Q/K/V 可一次性并行计算(类似训练的前向),注意力是 L×L 的大矩阵运算,FFN 是 L×d×d 的大矩阵乘;故 prefill 是 compute-bound(受算力限制),且能高效利用张量核心。decode(解码)——逐 token 生成,每步只有 1 个 query,需读取整个 KV cache(长度 S)做注意力;每步的 FLOPs 很小但访存量 ∝S,故是 memory-bound(受带宽限制),且并行度低(batch×heads)。关键指标:(a) TTFT(Time To First Token)——首 token 延迟,主要由 prefill 决定(∝ prompt 长度);(b) TPOT(Time Per Output Token)——每输出 token 的延迟,由 decode 决定(∝ 读取 KV 的量);(c) 吞吐——由两阶段的效率与批大小共同决定。为什么需不同优化——prefill 适合大 batch 的矩阵乘(算力密集,batch 越大越好);decode 适合大 batch 以摊薄 KV 读取(带宽密集,batch 越大 KV 复用越高)。故推理引擎需分别调优,甚至分离部署(PD 分离)。两阶段的显存需求也不同——prefill 需大量激活显存(大矩阵中间结果),decode 需大量 KV cache 显存。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'chunked prefill'——把长 prompt 的 prefill 切成多个 chunk 逐步处理,与 decode 请求混批,使 (a) 长 prompt 不阻塞短请求(改善延迟)、(b) 计算与带宽资源互补(prefill 算力密集、decode 带宽密集,混批可同时利用);这是现代推理引擎(vLLM、TensorRT-LLM)的关键调度技术。② PD 分离(disaggregation)——把 prefill 与 decode 部署在不同实例(各自用最适合的硬件/并行策略),通过高速网络传递 KV cache;优点是各阶段可独立扩缩容、避免相互干扰,代价是 KV 传输开销。③ batch 策略的差异——prefill 用'大 batch + 长序列'填满算力;decode 用'尽量大的 batch'摊薄 KV 读取;两者的最优 batch 大小不同,故混批需调度算法(如 Sarathi-Serve 的 chunked prefill + piggybacking)。④ 与投机解码的关系——投机解码在 decode 阶段一次验证多个 token,把'每步 1 个 query'变成'每步 k 个 query',从而提升 decode 的算术强度(更接近 prefill 的效率);这是'把 decode 变 compute-bound'的思路。⑤ 与 KV 压缩的关系——decode 的瓶颈是读 KV,故 MQA/GQA/MLA/KV 量化直接改善 TPOT。⑥ 面试要点——被问'prefill 与 decode 的区别',应给出'并行度(L vs 1)+ 瓶颈(算力 vs 带宽)+ 指标(TTFT vs TPOT)+ 优化方向'四维对比,并说明'chunked prefill / PD 分离'的工程动机;这是推理系统类问题的核心考点。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把 prefill 与 decode 的瓶颈当作同类
  • ✕
    忽略 TTFT 与 TPOT 的区分
🎯 面试官连环追问与延伸考察
  • ?
    为什么 prefill 与 decode 需要不同的 batch 策略?
  • ?
    PD 分离的动机是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-057: 解释 KV Cache 的原理,为什么训练时不能用。📋 返回题库下一题 →M4-059: 解释投机解码(speculative decoding)的无损性。