I3Hard★ 工业基石 (核心高频)Part I · 推理生成、解码与量化
投机解码(Speculative Decoding 验证与接收拒绝)
小草稿模型猜测 K 步,大目标模型单次并行验证,在保证输出分布数学无损的同时加速访存受限解码。
⏱️ 时间复杂度:
大模型调用次数缩减至原先的 1/(1 - 平均接受率)💾 空间复杂度:
需同时在显存中维护大模型和小模型的 KV 缓存🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def speculative_step_verification(
draft_tokens: list, # 长度为 K 的草稿 Token 序列
p_probs: np.ndarray, # (K, V) 大目标模型在各位置预测的概率分布
q_probs: np.ndarray # (K, V) 小草稿模型在各位置预测的概率分布
) -> list:
"""
执行投机解码单批验证。
返回: 最终被接受与修正采样的 Token 列表
"""
accepted_tokens = []
K = len(draft_tokens)
for i in range(K):
token = draft_tokens[i]
p_val = p_probs[i, token]
q_val = q_probs[i, token]
# 1. 接受概率: min(1, p/q)
acceptance_prob =
# 2. 掷骰子决定是否接受
if np.random.rand() < acceptance_prob:
accepted_tokens.append(token)
else:
# 3. 拒绝!从残差修正分布中采样并立即截断后续
residual = np.maximum(0.0, p_probs[i] - q_probs[i])
res_sum = np.sum(residual)
if res_sum > 0:
p_prime = residual / res_sum
resampled_token = int(np.random.choice(len(p_prime), p=p_prime))
else:
resampled_token =
accepted_tokens.append(resampled_token)
return accepted_tokens # 终止后续
# 如果全部接受,还可以免费多采一个额外 Token
return accepted_tokens
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
小草稿贪步快写,大模型一眼并行查,按比掷骰定去留,残差补抽无损真
📐 核心数学公式与机理推导
### 无损加速的数学证明
大语言模型自回归生成是典型的访存密集型任务。
Leviathan 等人与 DeepMind 在 2023 年提出投机解码:
1. 草稿生成:使用极小的小模型(Draft Model )连续投机自回归生成 个候选 Token ;
2. 并行验证:大模型(Target Model )仅需一次前向计算(单次 GEMM),即可并行算出所有 个位置的真实概率分布 ;
3. 接收/拒绝准则:
每个 Token 以概率 被接受;
一旦某个 Token 被拒绝,终止后续草稿,并从残差分布中重新采样补偿:
定理:无论草稿模型多差,投机解码输出的最终样本概率分布与直接用大模型自回归生成在数学上与目标模型分布严格无损等价;在访存受限的解码阶段,若草稿接受率 较高且草稿前向开销足够小,可带来显著无损加速(常见约 2~3 倍,实际加速比取决于 、 与批大小)。
大语言模型自回归生成是典型的访存密集型任务。
Leviathan 等人与 DeepMind 在 2023 年提出投机解码:
1. 草稿生成:使用极小的小模型(Draft Model )连续投机自回归生成 个候选 Token ;
2. 并行验证:大模型(Target Model )仅需一次前向计算(单次 GEMM),即可并行算出所有 个位置的真实概率分布 ;
3. 接收/拒绝准则:
每个 Token 以概率 被接受;
一旦某个 Token 被拒绝,终止后续草稿,并从残差分布中重新采样补偿:
定理:无论草稿模型多差,投机解码输出的最终样本概率分布与直接用大模型自回归生成在数学上与目标模型分布严格无损等价;在访存受限的解码阶段,若草稿接受率 较高且草稿前向开销足够小,可带来显著无损加速(常见约 2~3 倍,实际加速比取决于 、 与批大小)。
🔄 张量维度与形状流转说明
draft_tokens (K,) -> 逐个判定 min(1, p/q) -> 若通过则收录 -> 一旦拒绝则按 max(0, p-q) 补抽并截断
🛡️ 数值稳定性自检与边界要点
- 分母 q_val 加上 1e-12 防除零
- 残差分布求和若为 0(罕见数值截断),直接降级取大模型的 argmax
- 若所有 K 个 Token 全部被接受,可以直接从大模型的第 K+1 个位置免费获得一个 Token,单次验证最多产生 K+1 个词
💻 完整参考代码实现
import numpy as np
def speculative_step_verification(
draft_tokens: list, # 长度为 K 的草稿 Token 序列
p_probs: np.ndarray, # (K, V) 大目标模型在各位置预测的概率分布
q_probs: np.ndarray # (K, V) 小草稿模型在各位置预测的概率分布
) -> list:
"""
执行投机解码单批验证。
返回: 最终被接受与修正采样的 Token 列表
"""
accepted_tokens = []
K = len(draft_tokens)
for i in range(K):
token = draft_tokens[i]
p_val = p_probs[i, token]
q_val = q_probs[i, token]
# 1. 接受概率: min(1, p/q)
acceptance_prob = min(1.0, p_val / (q_val + 1e-12))
# 2. 掷骰子决定是否接受
if np.random.rand() < acceptance_prob:
accepted_tokens.append(token)
else:
# 3. 拒绝!从残差修正分布中采样并立即截断后续
residual = np.maximum(0.0, p_probs[i] - q_probs[i])
res_sum = np.sum(residual)
if res_sum > 0:
p_prime = residual / res_sum
resampled_token = int(np.random.choice(len(p_prime), p=p_prime))
else:
resampled_token = int(np.argmax(p_probs[i]))
accepted_tokens.append(resampled_token)
return accepted_tokens # 终止后续
# 如果全部接受,还可以免费多采一个额外 Token
return accepted_tokens
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# 模拟目标大模型与草稿模型分布完全一致
K, V = 3, 10
p = np.ones((K, V)) / V
q = p.copy()
draft = [1, 2, 3]
res = speculative_step_verification(draft, p, q)
assert res == draft, "完全相同分布下应 100% 接受"
print("✓ 投机解码验证与残差重采样自测通过")🎯 核心工程追问与标准应答
Q1:Medusa 与 Eagle 相比传统基于独立小模型的投机解码有何重大革新?
传统投机解码需要维护两个独立模型的协同与调度;Medusa 和 Eagle 直接在大模型最后一层顶部外挂几个微型的单层 MLP 头(Medusa Heads),利用主模型自身的顶层表征直接并行树状预测未来数步候选,完全无需独立的草稿模型。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!