推测解码(跨模块)

推测解码 (Speculative Decoding) 是一种无损加速自回归生成的技术:由轻量草稿模型 (draft model) 一次预测 $\gamma$ 个 token,目标大模型并行验证 —— 单次前向同时计算 $\gamma+1$ 个位置的 logits,接受与草稿一致的前缀,不一致处用接受-拒绝采样修正。加速比 $E \approx \frac{1-\alpha^{\gamma}}{1-\alpha}$ ($\alpha$ 为草稿接受率、$\gamma$ 为草稿长度);EAGLE/Medusa 直接在目标模型上增加树状多 Head 预测后续 token,免去独立草稿模型。

在线低延迟推理(自回归逐 token 生成是主要延迟瓶颈);显存带宽受限的推理服务器收益最大($\gamma$ 越大加速越明显);Medusa/EAGLE 因无需额外草稿模型、部署简单,是单模型端最主流的方案。

自回归解码每步只产出 1 个 token,却要读完整套权重矩阵,访存受限、吞吐极低。并行验证把每步有效产出提升到约 $\frac{1}{1-\alpha}$ 个 token —— 例如 $\alpha=0.8$、$\gamma=4$ 时 $E \approx 2.95\times$;且接受-拒绝采样保证输出分布与原模型完全一致,是严格无损的加速。

加速比公式 $E \approx \frac{1-\alpha^{\gamma}}{1-\alpha}$:$\alpha$、$\gamma$ 如何影响加速?

为什么推测解码是无损的?接受-拒绝采样如何保证分布不变?

草稿模型如何选择?接受率 α 与草稿开销之间的权衡?

EAGLE/Medusa 与标准草稿模型的区别?树状多 Head 为什么更优?

什么场景收益最大、什么场景收益有限?