M4-060M4: 序列与 TransformerKV Cache 与推理优化Medium
⚡闪卡盲测➔掌握度:

解释连续批处理(continuous batching)与静态批处理的差异。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-061 →
📐 核心数学机理公式
static: wait for longest;continuous: refill slots every iteration\text{static}:\ \text{wait for longest};\qquad \text{continuous}:\ \text{refill slots every iteration}
⚡ 一句话直击要害答案
静态批需等整批完成才能换新请求(GPU 空转);连续批在每步迭代后动态插入/移除请求,大幅提升吞吐。

📌 核心要点提炼

  • •
    静态批:批内请求长度不一 → 短请求完成后 GPU 空转
  • •
    连续批:每个 decode step 后重新组批,空闲槽立即补新请求
  • •
    吞吐可提升数倍,是现代推理引擎的标配

📐 数学机理与严密推导

数学机理:静态批处理(static batching) 把一批请求一起提交、一起等待完成:因为不同请求的输出长度不同,整个批的耗时由最长的那个决定;短请求完成后其占用的资源空闲但无法被利用(必须等整批结束)。故 GPU 利用率 = (总有效计算)/(批耗时 × 资源),在长度差异大时利用率很低(可能 <50%)。连续批处理(continuous batching,又称 iteration-level scheduling,Yu 等 2022 Orca) 的核心:在每个 decode step 之后重新组批——已完成(生成 EOS 或达到上限)的请求立即移出、腾出的槽位立即补入等待队列中的新请求。这样 GPU 几乎始终满负荷,吞吐大幅提升(Orca 报告 2~36 倍,取决于长度分布)。关键前提——(a) KV cache 需能动态分配/释放(PagedAttention 提供块级管理);(b) 注意力需支持批内不同长度(变长序列的批处理,用 mask 与 ragged tensor);(c) 调度器需在每步决定'谁进谁出'(如按 FCFS、或按优先级/公平性)。与 chunked prefill 的结合——新请求的 prefill(长 prompt)会占用大量算力、阻塞 decode;故现代引擎把 prefill 切块(chunked)并与 decode 混批,进一步优化延迟与吞吐。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 为什么这是'吞吐'而非'延迟'优化——连续批提升的是整体吞吐(单位时间处理的请求数);单请求延迟可能略增(因为要与其他请求竞争)。故它适合'高负载服务'。② 调度策略的权衡——(a) FCFS(先来先服务)公平但可能被长请求阻塞;(b) 优先级调度(如区分交互式与批处理);(c) 公平调度(如 vLLM 的'公平共享',防止某请求长期占用);调度器是推理引擎的核心竞争力之一。③ 与 PagedAttention 的协同——连续批需要'动态分配与回收 KV 块',而 PagedAttention 的块级管理正好提供这一能力;两者是配套技术(vLLM 同时实现)。④ 变长注意力的实现——批内序列长度不同,注意力 kernel 需支持'每个序列有自己的 KV 长度'(用块表与变长 mask);这是工程复杂度所在。⑤ 与投机解码的交互——投机解码使每个请求每步推进的 token 数不同(取决于接受长度),进一步增加调度的动态性。⑥ 面试要点——被问'如何提升推理吞吐',应给出'连续批处理(动态组批)+ PagedAttention(动态 KV 管理)+ chunked prefill(混批)'的组合,并说明'静态批的浪费来自最长请求';能提到调度策略(FCFS/优先级/公平)是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为静态批与连续批只是'批大小不同'
  • ✕
    忽略连续批对 KV 动态管理能力的依赖
🎯 面试官连环追问与延伸考察
  • ?
    为什么连续批能大幅提升吞吐?
  • ?
    连续批与 PagedAttention 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-059: 解释投机解码(speculative decoding)的无损性。📋 返回题库下一题 →M4-061: 解释前缀缓存(prefix caching)与 RadixAttention。