M5-014M5: NLP 与大语言模型Scaling LawsEasy
⚡闪卡盲测➔掌握度:

写出 Kaplan 与 Chinchilla 的核心结论。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-015 →
📐 核心数学机理公式
L(N,D)=L∞+AN−α+BD−β;Chinchilla:D⋆≈20N⋆\mathcal{L}(N,D)=\mathcal{L}_\infty+AN^{-\alpha}+BD^{-\beta};\qquad \text{Chinchilla}: D^{\star}\approx20N^{\star}
⚡ 一句话直击要害答案
Kaplan:损失随参数量/数据/算力幂律下降,参数优先;Chinchilla:参数量与数据量应同比例增长(约 20 token/参数)。

📌 核心要点提炼

  • •
    幂律:损失随 N、D 幂律下降(对数坐标下线性)
  • •
    Kaplan:早期结论偏向'增大参数'
  • •
    Chinchilla:N 与 D 应同比例,约 20:1(修正了 Kaplan)

📐 数学机理与严密推导

数学机理:Kaplan 等(2020) 发现语言模型损失随参数量 N、数据量 D、训练算力 C 呈幂律下降:L(N,D)=L_∞+A·N^{−α}+B·D^{−β}(在对数坐标下近似线性)。基于此,他们给出'给定算力下的最优配置',结论是优先增大参数量(参数比数据更'划算'),并给出了'参数量与数据量不必同比例增长'的建议。Chinchilla(Hoffmann 等 2022) 用更多训练运行修正了结论:发现 Kaplan 的实验设置(学习率调度、参数量与数据的耦合)导致低估了数据的作用;修正后的结论是——参数量 N 与训练 token 数 D 应大致同比例增长,最优比约 D≈20N(即每个参数配 20 个 token)。核心差异与影响——(a) 按 Chinchilla,当时的大模型(如 GPT-3 175B 用 300B token,比约 1.7:1)训练不足;(b) 遵循 Chinchilla 的模型(如 Chinchilla 70B 用 1.4T token)在同等算力下优于更大的模型;(c) 这直接催生了'用更多数据训练更小模型'的实践(LLaMA 系列即此路线的代表)。公式的其他形式——算力与损失:C≈6ND(前向 2 + 反向 4 FLOPs/参数/token),故'给定算力 C 下最优化 N 与 D'即最小化 L(N, C/(6N)),可得 N*∝C^{...}、D*∝C^{...}(两者同阶)。注意——Chinchilla 是'计算最优(compute-optimal)'结论(在给定训练算力下最小化损失);而推理成本会改变这个结论(见下一题)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '计算最优 ≠ 部署最优'——Chinchilla 优化的是'训练算力';但若考虑推理成本(服务大量用户),则'用更多数据训练更小的模型'(over-training)更划算——因为小模型的推理成本低。这就是 LLaMA 系列'用远超 20:1 的比例训练小模型'的原因(如 LLaMA-2 7B 用 2T token,比约 285:1)。② 幂律的实用性——(a) 预测:可用小规模实验拟合幂律、外推大模型的损失(指导是否值得扩大);(b) 资源规划:给定预算算最优 N/D;(c) 限制认知:幂律无法无限延续(数据有限、损失有下界 L_∞)。③ Kaplan 为何出错——主要是实验设计问题(学习率调度未随规模调优、以及'固定数据重复'的影响);这提醒我们'scaling law 的结论依赖实验设置',需谨慎解读。④ 数据受限时的 scaling——当高质量数据耗尽时,幂律失效(数据项饱和);此时需 (a) 数据高效方法(更好的架构/优化)、(b) 合成数据、(c) 多轮 epoch(收益递减)。⑤ 与架构的关系——scaling law 的常数(A、B、α、β)依赖架构与优化;故'某架构的 scaling law'不能直接用于另一架构(需重新拟合)。⑥ 面试要点——被问'scaling law',应给出'L=L_∞+AN^{−α}+BD^{−β} 幂律'与'Chinchilla 修正为 D≈20N 同比例增长',并说明'计算最优 ≠ 部署最优(推理成本改变结论)';能指出'Kaplan 的偏差源于实验设置'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 Chinchilla 的 20:1 就是'部署最优'
  • ✕
    把某架构的 scaling law 直接套用到另一架构
🎯 面试官连环追问与延伸考察
  • ?
    为什么 Kaplan 与 Chinchilla 结论不同?
  • ?
    如何用 Chinchilla 指导预算分配?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-013: 解释预训练数据的领域配比与退火阶段(annealing)的作用。📋 返回题库下一题 →M5-015: 解释为什么推理成本改变了 scaling 的取舍。