解码策略

解码策略决定生成时如何从词表概率分布中选取下一个 token。greedy 取 argmax;beam search 保留前 $B$ 条路径;temperature 先缩放 logits ($T \to 0$ 退化为 greedy,$T > 1$ 分布变平、更随机);top-k 只在概率最高的 $k$ 个 token 中采样;top-p (nucleus) 在累计概率超过阈值 $p$ 的最小候选集合中采样。标准组合顺序:先 temperature 缩放 logits,再 top-p 截断,最后采样。

对话、创作等需要多样性与自然度时用采样组合 (top-p + temperature + top-k);翻译、摘要、代码生成等期望确定性输出时用 greedy 或小 beam;需要抑制低概率 token 又保留随机性时,用 top-p 按分布形状自适应截断。

greedy 只取最大概率项,易陷入重复循环(“复读机”问题)且多样性差;纯随机采样会选中低概率 token,产生语法或事实错误。top-p 随分布形状自适应候选集(分布平坦时集合大、尖锐时集合小),temperature 控制 logits 锐利度,二者配合在质量与多样性之间取得平衡;beam 用 $B$ 条并行路径缓解贪心解码的局部短视。

检验攻克程度：针对「解码策略」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。