I2Medium★ 工业基石 (核心高频)Part I · 推理生成、解码与量化
大模型生成采样器(Temperature + Top-K + Top-P)
现代大模型输出控制核心三剑客,温度调节概率尖锐度,Top-K 截断前 K 项,Top-P 动态核采样累计概率。
⏱️ 时间复杂度:
O(V log V) 排序开销,V 为词表大小💾 空间复杂度:
O(V)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def sample_next_token(
logits: np.ndarray, # (vocab_size,) 未归一化预测
temperature: float = 0.7,
top_k: int = 50,
top_p: float = 0.9
) -> int:
# 1. 贪心特例
if temperature == 0.0:
return
# 2. 温度缩放
scaled_logits = logits / temperature
# 3. Top-K 截断
if top_k > 0 and top_k < len(scaled_logits):
# 寻找第 top_k 个最大值的阈值
kth_val = np.partition(scaled_logits, -top_k)[-top_k]
scaled_logits[scaled_logits < kth_val] = -np.inf
# 4. Softmax 转换为有效概率分布
max_l = np.max(scaled_logits)
exp_l = np.exp(scaled_logits - max_l)
probs = exp_l / np.sum(exp_l)
# 5. Top-P (核采样) 截断
if top_p < 1.0:
sorted_indices = np.argsort(-probs)
sorted_probs = probs[sorted_indices]
cumulative_probs = np.cumsum(sorted_probs)
# 找到累计概率刚刚超过 top_p 的位置
cutoff_mask = cumulative_probs > top_p
# 保证至少保留第 1 个最高概率词
cutoff_mask[0] = False
# 剔除截断之外的词
filtered_indices = sorted_indices[cutoff_mask]
probs[filtered_indices] = 0.0
# 重新归一化
probs =
# 6. 多项分布随机采样抽签
return int(np.random.choice(len(probs), p=probs))
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
温度调陡峭,Top-K 砍尾部,Top-P 累加卡阈值,多项抽样定乾坤
📐 核心数学公式与机理推导
### 三阶段概率调制与自适应截断
1. Temperature $T$(温度缩放):
- :分布演变为 Dirac delta 尖峰,等价于确定性贪心解码(Greedy Argmax);
- :原始网络置信度分布;
- :分布更平滑分散,输出创造性提高但易产生胡言乱语;
2. Top-K 过滤:
- 强行仅保留 Logits 最大的前 个 Token(如 ),其余全部置为 ;
3. Top-P(Nucleus Sampling 核采样):
- Holtzman 等人提出,克服了固定 无法适应动态上下文的缺陷;
- 降序排序后,累计概率求和直至刚好超过阈值 (如 ),动态剔除尾部不可靠低频词。
1. Temperature $T$(温度缩放):
- :分布演变为 Dirac delta 尖峰,等价于确定性贪心解码(Greedy Argmax);
- :原始网络置信度分布;
- :分布更平滑分散,输出创造性提高但易产生胡言乱语;
2. Top-K 过滤:
- 强行仅保留 Logits 最大的前 个 Token(如 ),其余全部置为 ;
3. Top-P(Nucleus Sampling 核采样):
- Holtzman 等人提出,克服了固定 无法适应动态上下文的缺陷;
- 降序排序后,累计概率求和直至刚好超过阈值 (如 ),动态剔除尾部不可靠低频词。
🔄 张量维度与形状流转说明
logits -> 除以 T -> Top-K 截断为 -inf -> Softmax -> Top-P 累计截断并重归一化 -> random.choice 抽取 token_id
🛡️ 数值稳定性自检与边界要点
- Temperature 为 0 时必须直接分支调用 argmax,绝对不可做除以 0
- Top-P 截断时必须确保至少保留第 1 个最高概率 Token,防止在极端情况下候选全被过滤为 0 导致归一化 NaN
💻 完整参考代码实现
import numpy as np
def sample_next_token(
logits: np.ndarray, # (vocab_size,) 未归一化预测
temperature: float = 0.7,
top_k: int = 50,
top_p: float = 0.9
) -> int:
# 1. 贪心特例
if temperature == 0.0:
return int(np.argmax(logits))
# 2. 温度缩放
scaled_logits = logits / temperature
# 3. Top-K 截断
if top_k > 0 and top_k < len(scaled_logits):
# 寻找第 top_k 个最大值的阈值
kth_val = np.partition(scaled_logits, -top_k)[-top_k]
scaled_logits[scaled_logits < kth_val] = -np.inf
# 4. Softmax 转换为有效概率分布
max_l = np.max(scaled_logits)
exp_l = np.exp(scaled_logits - max_l)
probs = exp_l / np.sum(exp_l)
# 5. Top-P (核采样) 截断
if top_p < 1.0:
sorted_indices = np.argsort(-probs)
sorted_probs = probs[sorted_indices]
cumulative_probs = np.cumsum(sorted_probs)
# 找到累计概率刚刚超过 top_p 的位置
cutoff_mask = cumulative_probs > top_p
# 保证至少保留第 1 个最高概率词
cutoff_mask[0] = False
# 剔除截断之外的词
filtered_indices = sorted_indices[cutoff_mask]
probs[filtered_indices] = 0.0
# 重新归一化
probs = probs / np.sum(probs)
# 6. 多项分布随机采样抽签
return int(np.random.choice(len(probs), p=probs))
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
logits = np.array([10.0, 9.0, 1.0, 0.0])
# 贪心模式必定选第 0 个
assert sample_next_token(logits, temperature=0.0) == 0
# Top-K=1 等价于贪心
assert sample_next_token(logits, temperature=1.0, top_k=1) == 0
print("✓ 大模型生成采样器自测通过")🎯 核心工程追问与标准应答
Q1:什么是 Min-P 采样?它相比 Top-P 有何独特优势?
Top-P 在低熵状态下(模型已经非常确定答案)容易过度截断引入噪声。Min-P 将截断阈值设定为最可能 Token 概率的一个相对百分比(例如 )。当模型极度自信时几乎只留 1 个候选,模型犹疑不决时自适应保留大量候选,表现更加自然从容。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!