Inference-Time Compute & Scaling: 解释并行采样 vs 顺序修正（并行 vs 串行 test-time compute）。

Core Concept: 并行：独立采样多条 + 投票/验证（抗单链错误）；顺序：单链迭代修正（成本低但受自我纠错能力限制）。

数学机理：<strong>两种范式</strong>。<strong>并行采样（parallel）</strong>——生成 N 条<strong>独立</strong>的推理链，然后用 (a) <strong>投票</strong>（Self-Consistency，答案可比较时）或 (b) <strong>验证器</strong>（best-of-N，有验证器时）选择。<strong>机制</strong>——利用'多条独立链的多样性'：若错误是<strong>随机的</strong>（每次采样可能对可能错），则 N 条中至少一条正确的概率 1−(1−p)^N → 1；故能<strong>抗随机错误</strong>。<strong>局限</strong>——若错误是<strong>系统性的</strong>（模型对某类问题一致地错），则所有链都会错（投票/验证也无法挽救）。<strong>顺序修正（sequential）</strong>——在<strong>单条链</strong>上迭代：(a) 生成 → 检查 → 修正（self-refine）；(b) 多轮对话式改进；(c) 长 CoT 中的自我回溯。<strong>机制</strong>——利用'模型的自我纠错能力'；<strong>成本 ∝ 轮数</strong>（而非 N 倍采样）；<strong>局限</strong>——(a) <strong>受自我纠错能力限制</strong>——对'自信的错误'无效（见自反思题：批评与生成用同一套参数）；(b) 可能<strong>越改越错</strong>（过度修订）；(c) <strong>单链的错误无法被外部纠正</strong>（没有多样性）。<strong>对比与选择</strong>——(a) <strong>错误是随机的、答案可验证/可比较</strong> → <strong>并行</strong>（更可靠）；(b) <strong>错误是局部的、可被自查发现的</strong>（如格式、计算笔误） → <strong>顺序修正</strong>（更便宜）；(c) <strong>错误是系统性的</strong> → 两者都无效，需<strong>改模型/改 prompt/加工具</strong>（根本解决）。<strong>组合方式</strong>——(a) <strong>并行 + 顺序</strong>——每条链内部做迭代修正，多条链之间投票（同时利用两者）；(b) <strong>树搜索</strong>——本质是并行（分支）+ 顺序（深入）的组合；(c) <strong>先顺序后并行</strong>——先用顺序修正得到'较好的初稿'，再并行采样做最终选择。<strong>成本对比</strong>——并行成本 ∝N（采样 N 次）；顺序成本 ∝R（迭代 R 轮）；若 N≈R，则成本相近；但<strong>并行可并行执行</strong>（墙钟时间短），<strong>顺序必须串行</strong>（延迟高）。<strong>实证</strong>——(a) 在数学任务上，并行采样 + 验证通常优于顺序自我修正（因为自我修正对推理错误无效）；(b) 在'格式/局部错误'上，顺序修正有效且便宜。<strong>与'推理模型'的关系</strong>——推理模型把'顺序修正'<strong>内化</strong>到长 CoT 中（训练时学会自我检查）；故其默认输出已含'顺序修正'，此时再加<strong>并行采样 + 投票</strong>可进一步提升。

深度剖析与工程权衡：① <strong>'并行抗随机错误、顺序抗局部错误、都无法抗系统性错误'是核心区分</strong>——面试中能给出这一框架是深度理解的标志。② <strong>'并行可并行执行（延迟低）、顺序必须串行（延迟高）'</strong>——这是工程上的关键差异；对延迟敏感的场景优先并行。③ <strong>'自我纠错能力有限'是顺序修正的天花板</strong>——因为批评与生成共享参数（无法跳出自己的知识）；故对推理错误效果差。④ <strong>'组合最优'</strong>——并行 + 顺序（每条链内部修正 + 链间投票）能同时利用两者；但成本也叠加，需权衡。⑤ <strong>'系统性错误需根本解决'</strong>——若模型对某类问题一致地错，加算力无用；需 (a) 补充训练数据、(b) 改进 prompt、(c) 加工具/检索。这是'识别问题类型'的重要性。⑥ <strong>面试要点</strong>——被问'并行采样与顺序修正怎么选'，应给出'<strong>并行（抗随机错误、可并行、需验证/投票）vs 顺序（抗局部错误、便宜、受自我纠错限制）</strong>'与'<strong>都无法抗系统性错误</strong>'的框架，并给出'<strong>组合使用</strong>'的建议；这是推理时计算类问题的深度回答。