Cost & Latency Optimization: 解释推测解码（speculative decoding）的延迟-成本权衡。

Core Concept: 用小的 draft 模型一次猜 k 个 token，大模型一次并行验证，接受则一次前进多 token；加速比取决于接受率、draft 长度与验证开销，且输出分布与大模型严格一致。

数学机理：<strong>推测解码（speculative decoding）</strong>——(1) <strong>动机</strong>——decode 阶段逐 token 生成、显存带宽受限、GPU 利用率低；若能一次前进多个 token 且不改变输出分布，即可加速。(2) <strong>流程</strong>——(a) <strong>draft</strong>——用小的 draft 模型 M_q（同族小模型或浅层）自回归生成 k 个候选 token；(b) <strong>verify</strong>——大模型 M_p 对这 k 个位置<strong>一次前向并行</strong>计算各自的条件分布；(c) <strong>accept/reject</strong>——从左到右逐个判定：对第 i 个 token，以概率 min(1, p(x_i)/q(x_i)) 接受；若拒绝，则从修正分布重采样该 token 并停止，后续 draft 丢弃；(d) <strong>前进</strong>——接受 n 个 token 则一次前进 n+1 个（含重采样的那个）。(3) <strong>无损性证明</strong>——(a) 接受-拒绝机制（类似拒绝采样）保证<strong>最终 token 的边缘分布恰为 p</strong>；(b) 故输出与大模型贪心/采样结果同分布，<strong>无质量损失</strong>。(4) <strong>期望接受数</strong>——(a) 若每个 draft token 独立地以概率 α 被接受，则一次前进的期望接受数为 E = (1 - α^{k+1})/(1 - α)；(b) <strong>α 越高、k 越大，E 越大</strong>；(c) 但 k 太大时后段接受率下降，收益饱和。(5) <strong>加速比</strong>——(a) speedup ≈ E / (1 + γ)，γ 为 draft 的额外开销（时间比）；(b) <strong>条件</strong>——(i) α 足够高（draft 与大模型分布接近）；(ii) γ 足够小（draft 很便宜）；(c) <strong>否则变慢</strong>——若 α 低（每步几乎都拒绝）而 γ 高，则纯亏。(6) <strong>变体</strong>——(a) <strong>Medusa</strong>——在大模型上加多个解码头并行预测后续 token；(b) <strong>EAGLE</strong>——在特征层做自回归 draft（比 token 层更准）；(c) <strong>self-speculation</strong>——用大模型自身浅层做 draft，避免额外模型；(d) <strong>lookahead decoding</strong>——用 Jacobi 迭代并行解码。(7) <strong>与批处理的关系</strong>——(a) 推测解码与批处理可叠加；(b) 但在大 batch 下 decode 已接近算力受限，推测解码的收益下降（因为算力不再是空闲的）；(c) <strong>故推测解码在低 batch / 低并发 / 交互式场景收益最大</strong>。<strong>与其他问题的关系</strong>——(a) 与 decode 是带宽瓶颈的诊断；(b) 与模型路由（draft 可视为路由的一种）；(c) 与批处理（收益随 batch 增大而下降）。<strong>度量</strong>——(a) 接受率 α；(b) 平均前进 token 数 E；(c) 端到端加速比；(d) 额外显存与成本。

深度剖析与工程权衡：① <strong>无损性是推测解码的最大卖点</strong>——与量化/蒸馏不同，它不牺牲质量。② <strong>收益取决于接受率与 draft 成本</strong>——α 低或 γ 高时反而更慢；面试中能给出 speedup ≈ E/(1+γ) 是深度理解的标志。③ <strong>大 batch 下收益下降</strong>——因为 decode 已接近算力受限，GPU 不再空闲。④ <strong>draft 模型选择是核心</strong>——同族小模型或特征级 draft（EAGLE）接受率更高。⑤ <strong>额外显存是成本</strong>——需同时载入 draft 与大模型。⑥ <strong>与量化可叠加</strong>——两者优化不同瓶颈。⑦ <strong>面试要点</strong>——被问怎么降低推理延迟，应给出'<strong>先定位瓶颈 → 推测解码（低 batch 场景）→ 批处理（高吞吐场景）→ 量化 → KV 压缩</strong>'，并指出'推测解码无损但收益依赖接受率'；能指出大 batch 下收益下降是深度理解的标志。