KV Cache & Inference Optimizations: 解释投机解码的变体（Medusa / EAGLE / MTP）。

Core Concept: Medusa 加多个预测头一次预测多 token；EAGLE 在特征层自回归预测；MTP 在训练时加多 token 预测目标。

数学机理：<strong>共同目标</strong>——让'一次前向验证多个 token'成为可能，从而提升 decode 的算术强度与吞吐。<strong>Medusa（Cai 等 2024）</strong>——在目标模型的最后一层之上，加 <strong>k 个额外的预测头</strong>（每个头预测未来第 i 个 token），并配合<strong>树状注意力（tree attention）</strong> 一次验证多条候选路径。优点：不改目标模型（只加头，训练成本低）。缺点：各头独立预测，<strong>忽略了 token 间的依赖</strong>（第 2 个头不知道第 1 个头预测了什么），故接受率受限。<strong>EAGLE（Li 等 2024）</strong>——关键改进是<strong>在特征空间做自回归</strong>：把目标模型的<strong>倒数第二层特征</strong>作为输入，用一个小的自回归头预测下一层的特征（而非直接预测 token），再把预测特征送过目标模型的最后一层得到 token 分布。<strong>为什么更准</strong>——特征空间比 token 空间<strong>更平滑、更易预测</strong>（特征携带更丰富的上下文信息，且没有离散化的信息损失）；论文报告 EAGLE 的接受长度显著高于 Medusa。<strong>MTP（Multi-Token Prediction，DeepSeek-V3）</strong>——在<strong>预训练阶段</strong>就加入多个'预测未来第 i 个 token'的损失（每个位置有 n 个预测头），使模型<strong>原生具备多步预测能力</strong>。<strong>双重收益</strong>：(a) <strong>训练效果</strong>——多步预测提供了更密集的监督信号（迫使模型规划更远），提升表示质量；(b) <strong>推理加速</strong>——MTP 头可直接用作投机解码的草稿（自投机），无需额外模型。<strong>对比</strong>——Medusa/EAGLE 是'后训练加头'（不改预训练），MTP 是'训练时内建'（更根本但需从头训练）。

深度剖析与工程权衡：① <strong>'特征空间预测'的洞察</strong>——这是 EAGLE 相对 Medusa 的核心优势；直觉上'下一层的特征'比'下一个 token'包含更多信息、更连续，故更易预测。这一洞察也可推广到其他'多步预测'任务。② <strong>接受率的工程意义</strong>——投机解码的加速比 ∝ 接受长度；故 EAGLE/Medusa 的核心竞争力就是'在给定开销下最大化接受率'。实践中 EAGLE 因接受率更高成为主流方案之一。③ <strong>与独立草稿模型的对比</strong>——独立草稿模型（如 LLaMA-7B 给 70B）需要维护两个模型、且两者分布差异大（接受率受限）；Medusa/EAGLE/MTP 都是'自投机'（复用目标模型的表示），无需第二个模型、接受率更高。④ <strong>MTP 的额外价值</strong>——它是少数'既提升训练效果又加速推理'的技术；DeepSeek-V3 报告 MTP 提升了模型质量（在多个基准上），同时提供推理加速。⑤ <strong>与树状注意力的配合</strong>——多候选路径的验证需用树状注意力（一次前向验证树上的所有节点）；这增加了 kernel 复杂度（变长 mask、树结构）。⑥ <strong>面试要点</strong>——被问'投机解码的变体'，应给出'<strong>Medusa（多头、token 空间）→ EAGLE（特征空间自回归，接受率更高）→ MTP（训练时内建，兼具训练与推理收益）</strong>'的演进与各自取舍；能指出'特征空间比 token 空间更易预测'是深度理解的标志。