推测解码(跨模块)

推测解码 (Speculative Decoding) 是一种无损加速自回归生成的技术:由轻量草稿模型 (draft model) 一次预测 $\gamma$ 个 token,目标大模型并行验证 —— 单次前向同时计算 $\gamma+1$ 个位置的 logits,接受与草稿一致的前缀,不一致处用接受-拒绝采样修正。加速比 $E \approx \frac{1-\alpha^{\gamma}}{1-\alpha}$ ($\alpha$ 为草稿接受率、$\gamma$ 为草稿长度);EAGLE/Medusa 直接在目标模型上增加树状多 Head 预测后续 token,免去独立草稿模型。

在线低延迟推理(自回归逐 token 生成是主要延迟瓶颈);显存带宽受限的推理服务器收益最大($\gamma$ 越大加速越明显);Medusa/EAGLE 因无需额外草稿模型、部署简单,是单模型端最主流的方案。

自回归解码每步只产出 1 个 token,却要读完整套权重矩阵,访存受限、吞吐极低。并行验证把每步有效产出提升到约 $\frac{1}{1-\alpha}$ 个 token —— 例如 $\alpha=0.8$、$\gamma=4$ 时 $E \approx 2.95\times$;且接受-拒绝采样保证输出分布与原模型完全一致,是严格无损的加速。

检验攻克程度：针对「推测解码(跨模块)」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。