推理时扩展

推理时扩展 (Test-Time Compute Scaling) 指在生成阶段用更多计算换取更高准确率,与训练期扩展 (scaling laws) 正交。主要形式:① 思考预算 (thinking budget):o1 式慢思考,显式生成 long CoT,允许的 token 预算越多准确率越高(形成推理时 scaling law);② 多次采样选优:Best-of-N 用奖励模型挑选,或 majority voting 直接投票;③ 并行搜索:MCTS + 过程奖励做树搜索。预算通过 reasoning effort(轻/中/重)或 max_tokens 控制。

数学、代码等可验证或可打分任务;对延迟不敏感、追求极致准确率的场景;API 用户用 effort 参数调节性价比;也可把推理时搜索出的高质量轨迹自博弈蒸馏回小模型。

模型在困难任务上“一步作答”准确率低;推理时扩展把算力从训练期转移到推理期,无需重新训练即可显著提升困难任务表现,形成 compute-time tradeoff:错误率随推理计算量按幂律下降 $L(T) \propto T^{-\alpha}$(边际收益递减)。

检验攻克程度：针对「推理时扩展」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。