M4-059M4: 序列与 TransformerKV Cache 与推理优化Medium
⚡闪卡盲测➔掌握度:

解释投机解码(speculative decoding)的无损性。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-060 →
📐 核心数学机理公式
accept xt w.p. min⁡ ⁣(1,p(xt)q(xt));reject⇒resample from norm(max⁡(0,p−q))\text{accept }x_t\ \text{w.p.}\ \min\!\left(1,\frac{p(x_t)}{q(x_t)}\right);\qquad \text{reject}\Rightarrow\text{resample from } \mathrm{norm}(\max(0,p-q))
⚡ 一句话直击要害答案
用廉价草稿模型提议 k 个 token,目标模型一次并行验证;按接受/拒绝规则采样可证明输出分布与目标模型一致。

📌 核心要点提炼

  • •
    草稿模型提议、目标模型并行验证(一次前向验 k 个)
  • •
    接受概率 min(1, p/q) 保证分布无偏
  • •
    拒绝时从修正分布重采样,严格保持目标分布

📐 数学机理与严密推导

数学机理:动机——decode 阶段每步只算 1 个 token,GPU 利用率低(memory-bound + 并行度低);若能'一次验证多个 token',就能提升算术强度。投机解码(Leviathan 等 2023;Chen 等 2023) 用两个模型:(a) 草稿模型(draft)——小、快,自回归地生成 k 个候选 token;(b) 目标模型(target)——大、慢,但可一次并行计算这 k 个位置的输出分布(因为输入已知)。然后按规则逐个验证候选:对第 t 个候选 x_t,计算接受概率 min(1, p(x_t)/q(x_t))(p 为目标模型概率、q 为草稿模型概率),以该概率接受;若拒绝,则从修正分布 norm(max(0, p−q)) 重新采样该位置的 token 并停止后续验证。无损性的证明要点——这套'接受/拒绝 + 修正重采样'是标准的拒绝采样(rejection sampling) 技巧:可以证明,按此规则生成的 token 的边缘分布恰好等于目标模型 p 的分布(而非近似)。直觉:当草稿模型高估某 token(q>p)时,接受概率 <1 以抵消;当草稿模型低估(q<p)时接受概率为 1,但拒绝后的修正分布补足了被低估的部分。加速来源——若草稿模型与目标模型分布接近(接受率高),则一次前向可推进多个 token,吞吐提升(论文报告 2~3 倍,无质量损失)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 加速比的公式化——若平均接受长度为 α(每轮接受 α 个 token)、草稿开销为 c(相对目标模型的比例),则加速比约 α/(1+c)。故关键是 (a) 草稿模型与目标模型分布接近(提高 α)、(b) 草稿模型足够快(降低 c)。② 草稿模型的获取——(a) 用同系列的小模型(如 LLaMA-7B 给 70B 做草稿);(b) 自投机(self-speculation)——用目标模型本身的不同层/不同精度做草稿(如早退层、量化版本);(c) 训练专门的草稿模型(distillation)。③ 与 batch 的交互——投机解码在小 batch、低负载时收益最大(此时 GPU 利用率低、有冗余算力做验证);大 batch 时 GPU 已饱和,收益下降甚至为负(因草稿模型占用算力)。故它是'改善单请求延迟'的技术,而非'提升峰值吞吐'的技术。④ 与连续批处理的配合——不同请求的接受长度不同,故需变长验证与动态调度(vLLM 的实现需处理这一点)。⑤ 与 Medusa/EAGLE/MTP 的关系——这些是'不用独立草稿模型'的变体(见后续题)。⑥ 面试要点——被问'投机解码为什么无损',应给出'接受概率 min(1,p/q) + 拒绝时从 max(0,p−q) 重采样 = 拒绝采样',并说明'边缘分布等于目标分布';能给出加速比公式 α/(1+c) 与'小 batch 收益最大'的工程结论是明显加分。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为投机解码是近似方法(它是严格无损的)
  • ✕
    在大 batch 高负载下期望加速(收益会下降)
🎯 面试官连环追问与延伸考察
  • ?
    为什么接受概率是 min(1, p/q)?
  • ?
    投机解码的加速比由什么决定?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-058: 解释 prefill 与 decode 两阶段的差异。📋 返回题库下一题 →M4-060: 解释连续批处理(continuous batching)与静态批处理的差异。