← 返回 大语言模型 思维导图
⚡闪卡盲测➔
⚡ 大语言模型ID: test-time-compute

推理时扩展

Test-Time Compute Scaling
🎯核心定义
推理时扩展 (Test-Time Compute Scaling) 指在生成阶段用更多计算换取更高准确率,与训练期扩展 (scaling laws) 正交。主要形式:① 思考预算 (thinking budget):o1 式慢思考,显式生成 long CoT,允许的 token 预算越多准确率越高(形成推理时 scaling law);② 多次采样选优:Best-of-N 用奖励模型挑选,或 majority voting 直接投票;③ 并行搜索:MCTS + 过程奖励做树搜索。预算通过 reasoning effort(轻/中/重)或 max_tokens 控制。
💡使用场景
数学、代码等可验证或可打分任务;对延迟不敏感、追求极致准确率的场景;API 用户用 effort 参数调节性价比;也可把推理时搜索出的高质量轨迹自博弈蒸馏回小模型。
⚡解决的核心痛点
模型在困难任务上“一步作答”准确率低;推理时扩展把算力从训练期转移到推理期,无需重新训练即可显著提升困难任务表现,形成 compute-time tradeoff:错误率随推理计算量按幂律下降 L(T)∝T−αL(T) \propto T^{-\alpha}(边际收益递减)。
🎯核心面试考点体系 (Exam Points)
基础原理 · 工业场景 · 深入排雷
基础·定义
请阐明【推理时扩展】的本质定义、底层数学/架构运作机制与关键原理。
基础·场景
在实际工业生产体系中,【推理时扩展】适用于哪些典型场景?解决了什么核心工程痛点?
🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)
1
推理时扩展有哪些主要形式?与训练时扩展 (scaling laws) 的区别?
2
思考预算 (thinking budget) 是什么?o1 如何用 reasoning effort 控制?
3
Best-of-N 与 majority voting 的区别?各需要什么信号?
4
推理时扩展的收益曲线:边际收益递减体现在哪?什么任务收益最大?
5
如何把推理时扩展蒸馏回小模型(自博弈/蒸馏路线)?
📖 关联深度指南:📄 reasoning-and-cot →
更新于 2026-08-12
🎯
检验攻克程度:针对「推理时扩展」专属刷题排雷
做单选排雷题、推导选项机制,答错自动收录进专属错题本。
🚀 开始本考点专项刷题 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一个知识点思维链 CoT下一个知识点 →MCTS 推理搜索

🔗 更多 大语言模型 知识点卡片

引用出处: TalentMe 450+ 工业级 AI 架构考点知识库 (Tech Vault) · 遵循 CC-BY-4.0 知识共享协议
URL: https://talentme.airsota.com/zh/resources/tech/roadmap/mindmap/LLM/card/test-time-compute