M5-067M5: NLP 与大语言模型Prompting 与推理增强Easy
⚡闪卡盲测➔掌握度:

解释 Self-Consistency 与多数投票。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-068 →
📐 核心数学机理公式
y^=arg⁡max⁡y∑i=1N1[yi=y],yi∼p(y, zi∣x);gain grows with N\hat y=\arg\max_y\sum_{i=1}^{N}\mathbf{1}[y_i=y],\quad y_i\sim p(y,\ z_i|x);\qquad \text{gain grows with }N
⚡ 一句话直击要害答案
对同一问题采样多条 CoT 路径,取答案的多数投票;利用'正确路径多样、错误路径分散'提升准确率。

📌 核心要点提炼

  • •
    采样多条 CoT(用较高温度)→ 对最终答案投票
  • •
    原理:正确路径彼此一致、错误路径分散
  • •
    收益随采样数 N 增长但边际递减(成本 ∝N)

📐 数学机理与严密推导

数学机理:Self-Consistency(Wang 等 2022) 的做法——(1) 用较高温度(如 0.7)对同一问题采样 N 条不同的 CoT 路径(得到不同的推理过程与答案);(2) 对所有路径的最终答案做多数投票,取出现最多的答案作为输出。为什么有效——关键假设:正确的推理路径倾向于'殊途同归'(得到相同答案),而错误的路径各有各的错法(答案分散)。形式化地,若正确答案在单次采样中的概率为 p(如 0.6),且错误答案分散在多个不同值上,则多数投票的准确率随 N 提升(可证明在'错误答案分散'的假设下,投票准确率 → 1)。实证——在 GSM8K 等数学任务上,Self-Consistency 把 CoT 的准确率从约 56% 提升到约 74%(N=40),且收益随 N 增长(边际递减)。与 best-of-N 的差异——(a) Self-Consistency 只看最终答案的分布(多数投票),无需验证器/奖励模型(无监督);(b) best-of-N 用验证器/奖励模型打分选最优(需要打分器)。故 Self-Consistency 更简单(无需额外模型),但只在'答案可投票'(离散、可比较)时适用;对开放式生成(如写作)无法投票(答案各不相同),此时需 best-of-N + 验证器。成本——采样 N 条 CoT 的成本 ∝N(token 数与延迟);故需在'准确率 vs 成本'间权衡(N 常取 5~40)。变体——(a) 加权投票(按 CoT 长度或置信度加权);(b) Universal Self-Consistency(用 LLM 自己判断哪些答案等价,适用于开放式输出);(c) 与 best-of-N + PRM 组合(先投票再验证)。与'推理时计算'的关系——Self-Consistency 是并行型的 test-time compute(同时采样多条路径),与 CoT(顺序型)互补。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '无需验证器'是最大优势——在缺乏可靠验证器的场景(开放推理、常识),Self-Consistency 仍可用(只需答案可比较);这使它比 best-of-N 更通用。② '答案可比性'的边界——(a) 数值答案(可直接比对);(b) 短文本答案(需归一化);(c) 长文本/开放式(需 LLM 判断等价,引入成本与噪声)。故 Self-Consistency 的适用性取决于任务。③ 温度的设置——温度太低则 N 条路径几乎相同(投票无意义);太高则推理质量下降。常用 0.5~0.8;需在'多样性'与'质量'间平衡。④ 收益的边际递减——准确率随 N 提升但递减;且当 N 很大时,成本(∝N)可能超过收益。故需按任务设 N(数学竞赛可用 N=40+,日常问答应 N=1~5)。⑤ 与'蒸馏'的关系——Self-Consistency 的多数投票结果可作为'更好的监督信号'(用于蒸馏或 RFT:把投票后的答案当作伪标签);这是'用推理时算力换训练数据'的思路。⑥ 面试要点——被问'Self-Consistency 为什么有效',应给出'正确路径殊途同归、错误路径分散 → 多数投票收敛到正确答案',并对比 best-of-N(需验证器);能指出'答案可比性'是适用边界、'温度需适中'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用低温采样(路径相同,投票无效)
  • ✕
    在开放式生成任务上用多数投票
🎯 面试官连环追问与延伸考察
  • ?
    为什么'正确路径更一致'?
  • ?
    Self-Consistency 与 best-of-N 的差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-066: 解释 Chain-of-Thought 为什么有效。📋 返回题库下一题 →M5-068: 解释 Tree-of-Thought 与 ReAct 的差异。