推理时扩展

推理时扩展 (Test-Time Compute Scaling) 指在生成阶段用更多计算换取更高准确率,与训练期扩展 (scaling laws) 正交。主要形式:① 思考预算 (thinking budget):o1 式慢思考,显式生成 long CoT,允许的 token 预算越多准确率越高(形成推理时 scaling law);② 多次采样选优:Best-of-N 用奖励模型挑选,或 majority voting 直接投票;③ 并行搜索:MCTS + 过程奖励做树搜索。预算通过 reasoning effort(轻/中/重)或 max_tokens 控制。

数学、代码等可验证或可打分任务;对延迟不敏感、追求极致准确率的场景;API 用户用 effort 参数调节性价比;也可把推理时搜索出的高质量轨迹自博弈蒸馏回小模型。

模型在困难任务上“一步作答”准确率低;推理时扩展把算力从训练期转移到推理期,无需重新训练即可显著提升困难任务表现,形成 compute-time tradeoff:错误率随推理计算量按幂律下降 $L(T) \propto T^{-\alpha}$(边际收益递减)。

推理时扩展有哪些主要形式?与训练时扩展 (scaling laws) 的区别?

思考预算 (thinking budget) 是什么?o1 如何用 reasoning effort 控制?

Best-of-N 与 majority voting 的区别?各需要什么信号?

推理时扩展的收益曲线:边际收益递减体现在哪?什么任务收益最大?

如何把推理时扩展蒸馏回小模型(自博弈/蒸馏路线)?