Inference-Time Compute & Scaling: 解释 test-time compute scaling 的两种主要形式。

Core Concept: 顺序型（更长 CoT、迭代修正）与并行型（多次采样 + 投票/验证）；两者互补，可与模型规模互相替代。

数学机理：<strong>两种 test-time compute（推理时计算）形式</strong>。<strong>(1) 顺序型（sequential）</strong>——在<strong>单条</strong>推理链上投入更多计算：(a) <strong>更长的 CoT</strong>（'想更久'）；(b) <strong>迭代修正</strong>（生成 → 检查 → 修正）；(c) <strong>多轮自我反思</strong>。<strong>机制</strong>——更多的 token 意味着更多的串行计算步（见 CoT 题：序列长度换计算深度）；<strong>优点</strong>——单条链的成本可控、可解释；<strong>缺点</strong>——<strong>单条链的错误无法被纠正</strong>（若一开始方向错，想再久也错）；且受限于模型的'自我纠错能力'（见自反思题：对自信的错误无效）。<strong>(2) 并行型（parallel）</strong>——<strong>同时</strong>采样多条独立的推理链：(a) <strong>Self-Consistency</strong>（多数投票，无需验证器）；(b) <strong>best-of-N</strong>（用验证器/奖励模型选最优）；(c) <strong>树搜索/束搜索</strong>（ToT、MCTS，在分支间探索）。<strong>机制</strong>——利用'正确路径更一致'或'验证器能识别好答案'；<strong>优点</strong>——能<strong>纠正单链的错误</strong>（只要有一条对且能被选出）；<strong>缺点</strong>——成本 ∝N（且需验证器或投票机制）。<strong>两者互补</strong>——(a) 顺序型提升'单链的深度'（适合需要长推导的任务）；(b) 并行型提升'覆盖度'（适合答案可验证/可投票的任务）；(c) 实践中常<strong>组合</strong>（如长 CoT + Self-Consistency、或 ToT 的搜索本身即顺序+并行的混合）。<strong>关键研究结论</strong>——(a) <strong>在某些任务上，test-time compute 可替代模型规模</strong>（小模型 + 更多推理算力 ≈ 大模型）；(b) 但<strong>不是所有任务</strong>（依赖任务是否'可分解/可验证'）；(c) <strong>最优形式依赖任务难度分布</strong>——简单问题顺序型足够（甚至不需要），困难问题并行型更有效（需要探索）。<strong>经济性</strong>——test-time compute 是<strong>持续成本</strong>（每次请求都付费），而模型规模是<strong>一次性训练成本 + 持续推理成本</strong>；故需按请求量权衡（类似 over-training 的经济学）。

深度剖析与工程权衡：① <strong>'两种形式互补'是核心认知</strong>——顺序型解决'深度'（长推导），并行型解决'覆盖'（多路径探索）；故应组合使用。② <strong>'单链错误无法纠正'是顺序型的根本局限</strong>——若模型一开始方向错，'想更久'可能加深错误；故对'容易一开始就错'的任务，并行型更有效。③ <strong>'验证器的存在决定并行型的效率'</strong>——有可靠验证器（可验证任务）时，best-of-N 效率高（只需采样够多）；无验证器时只能靠投票（要求答案可比较）。④ <strong>'与模型规模的关系'</strong>——研究表明在某些任务上'小模型 + 大量推理算力'可匹配大模型；但 (a) 简单任务上'多想'无益、(b) 知识密集型任务（需要知道事实）无法靠'多想'解决（故 test-time compute 不能替代知识）。⑤ <strong>'最优分配策略'</strong>——应根据<strong>问题难度</strong>分配算力（难题多算、简单题少算）；这需要难度估计（见推理模型的长度自适应）。⑥ <strong>面试要点</strong>——被问'test-time compute 有哪些形式'，应给出'<strong>顺序型（长 CoT/迭代修正）与并行型（采样+投票/验证/搜索）</strong>'与'<strong>互补关系（深度 vs 覆盖）</strong>'，并指出'<strong>可与模型规模替代、但不能替代知识</strong>'；这是推理时计算类问题的基本盘。