M5-019M5: NLP 与大语言模型Scaling LawsHard
⚡闪卡盲测➔掌握度:

解释后训练阶段的 scaling(RL/推理算力)与预训练 scaling 的差异。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-020 →
📐 核心数学机理公式
Lpretrain smooth power law;RL: task-dependent, less predictable\mathcal{L}_{\text{pretrain}}\ \text{smooth power law};\qquad \text{RL}:\ \text{task-dependent},\ \text{less predictable}
⚡ 一句话直击要害答案
预训练 scaling 平滑可预测;RL/后训练的 scaling 更不稳定、更依赖任务与数据,且常呈'先快后慢'。

📌 核心要点提炼

  • •
    预训练:平滑幂律、可跨规模外推
  • •
    RL/后训练:曲线不规则、依赖任务与奖励设计
  • •
    推理时算力(test-time)是第三条 scaling 轴

📐 数学机理与严密推导

数学机理:三条 scaling 轴。(1) 预训练 scaling(参数 × 数据 × 训练算力)——平滑幂律、跨规模可外推(见前述)。(2) 后训练/RL scaling(RL 算力)——用强化学习(RLHF/RLVR)提升能力时,性能随 RL 算力提升,但曲线更不规则:(a) 依赖任务与奖励设计(不同任务的曲线差异大);(b) 常呈'先快后慢'(早期快速提升、后期平台或退化);(c) 不稳定(奖励黑客、KL 漂移、崩溃);(d) 难以跨规模外推(RL 的超参与数据依赖强)。原因:RL 优化的是非平稳目标(策略变化 → 数据分布变化 → 奖励估计变化),且奖励是代理(proxy)而非真实目标。(3) 推理时算力 scaling(test-time compute)——在推理时投入更多计算(长 CoT、多次采样、搜索、验证器)可提升表现;研究表明其效果可与模型规模互补(某些任务上'小模型 + 更多推理算力'可匹配'大模型')。三条轴的差异与配合——(a) 可预测性:预训练 >> 推理时 >> RL;(b) 成本结构:预训练是一次性、推理时是持续的、RL 介于两者;(c) 能力类型:预训练提供'知识与基础能力'、RL 提供'对齐与推理习惯'、推理时提供'按需的深度思考'。实践——(i) 先用预训练 scaling 达到基础能力;(ii) 用 SFT + RLHF/RLVR 对齐与提升推理;(iii) 用推理时算力按需增强(如难题用长 CoT)。三者互补而非替代。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'RL scaling 更难'的根源是'非平稳性'——RL 的优化目标随策略变化(数据分布由当前策略产生),故不像监督学习那样有稳定的损失曲线;这使'预测与调参'更难。② 奖励设计的杠杆作用——RL 的收益高度依赖奖励是否'与真实目标对齐';若奖励可被钻空子(reward hacking),算力越多反而越差。故 RL scaling 的前提是可靠的奖励(可验证任务天然满足)。③ 推理时算力的经济性——推理时算力是持续成本(每次请求都付费),而预训练是一次性成本;故需按'推理量'权衡(类似 over-training 的经济学)。对高频服务,'小模型 + 少量推理算力'可能比'大模型'更经济。④ '推理算力与模型规模的等价性'——有研究(如'Scaling LLM Test-Time Compute')表明:在某些任务上,用更多推理算力的小模型可匹配更大模型;但不是所有任务都如此(依赖任务是否可分解为可验证的步骤)。⑤ 与'能力上限'的关系——推理时算力无法突破模型的知识上限(不知道的事实无法通过多想获得);故它主要提升'推理/组合'能力,而非'知识'。⑥ 面试要点——被问'后训练 scaling 与预训练 scaling 有何不同',应给出'可预测性(预训练平滑、RL 不规则)+ 非平稳性(RL 目标随策略变化)+ 三条轴的互补配合';能指出'RL scaling 的前提是可靠奖励'与'推理算力无法突破知识上限'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    假设 RL 性能随算力平滑可预测地提升
  • ✕
    认为推理时算力可替代知识学习
🎯 面试官连环追问与延伸考察
  • ?
    为什么 RL 的 scaling 更难预测?
  • ?
    三条 scaling 轴如何配合?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-018: 解释 scaling law 对超参与架构选择的指导意义。📋 返回题库下一题 →M5-020: 解释 SFT 的目标与数据构造要点。