Scaling Laws & Compute Allocation: 写出 Kaplan 与 Chinchilla 的核心结论。

Core Concept: Kaplan：损失随参数量/数据/算力幂律下降，参数优先；Chinchilla：参数量与数据量应同比例增长（约 20 token/参数）。

数学机理：<strong>Kaplan 等（2020）</strong> 发现语言模型损失随<strong>参数量 N</strong>、<strong>数据量 D</strong>、<strong>训练算力 C</strong> 呈<strong>幂律下降</strong>：L(N,D)=L_∞+A·N^{−α}+B·D^{−β}（在对数坐标下近似线性）。基于此，他们给出'给定算力下的最优配置'，结论是<strong>优先增大参数量</strong>（参数比数据更'划算'），并给出了'参数量与数据量不必同比例增长'的建议。<strong>Chinchilla（Hoffmann 等 2022）</strong> 用更多训练运行<strong>修正</strong>了结论：发现 Kaplan 的实验设置（学习率调度、参数量与数据的耦合）导致低估了数据的作用；修正后的结论是——<strong>参数量 N 与训练 token 数 D 应大致同比例增长</strong>，最优比约 <strong>D≈20N</strong>（即每个参数配 20 个 token）。<strong>核心差异与影响</strong>——(a) 按 Chinchilla，当时的大模型（如 GPT-3 175B 用 300B token，比约 1.7:1）<strong>训练不足</strong>；(b) 遵循 Chinchilla 的模型（如 Chinchilla 70B 用 1.4T token）在同等算力下<strong>优于更大的模型</strong>；(c) 这直接催生了'用更多数据训练更小模型'的实践（LLaMA 系列即此路线的代表）。<strong>公式的其他形式</strong>——<strong>算力与损失</strong>：C≈6ND（前向 2 + 反向 4 FLOPs/参数/token），故'给定算力 C 下最优化 N 与 D'即最小化 L(N, C/(6N))，可得 N*∝C^{...}、D*∝C^{...}（两者同阶）。<strong>注意</strong>——Chinchilla 是'<strong>计算最优（compute-optimal）</strong>'结论（在给定<strong>训练</strong>算力下最小化损失）；而<strong>推理成本</strong>会改变这个结论（见下一题）。

深度剖析与工程权衡：① <strong>'计算最优 ≠ 部署最优'</strong>——Chinchilla 优化的是'训练算力'；但若考虑<strong>推理成本</strong>（服务大量用户），则'用更多数据训练更小的模型'（over-training）更划算——因为小模型的推理成本低。这就是 LLaMA 系列'用远超 20:1 的比例训练小模型'的原因（如 LLaMA-2 7B 用 2T token，比约 285:1）。② <strong>幂律的实用性</strong>——(a) <strong>预测</strong>：可用小规模实验拟合幂律、外推大模型的损失（指导是否值得扩大）；(b) <strong>资源规划</strong>：给定预算算最优 N/D；(c) <strong>限制认知</strong>：幂律无法无限延续（数据有限、损失有下界 L_∞）。③ <strong>Kaplan 为何出错</strong>——主要是实验设计问题（学习率调度未随规模调优、以及'固定数据重复'的影响）；这提醒我们'<strong>scaling law 的结论依赖实验设置</strong>'，需谨慎解读。④ <strong>数据受限时的 scaling</strong>——当高质量数据耗尽时，幂律失效（数据项饱和）；此时需 (a) 数据高效方法（更好的架构/优化）、(b) 合成数据、(c) 多轮 epoch（收益递减）。⑤ <strong>与架构的关系</strong>——scaling law 的常数（A、B、α、β）依赖架构与优化；故'某架构的 scaling law'不能直接用于另一架构（需重新拟合）。⑥ <strong>面试要点</strong>——被问'scaling law'，应给出'<strong>L=L_∞+AN^{−α}+BD^{−β} 幂律</strong>'与'<strong>Chinchilla 修正为 D≈20N 同比例增长</strong>'，并说明'<strong>计算最优 ≠ 部署最优（推理成本改变结论）</strong>'；能指出'Kaplan 的偏差源于实验设置'是深度理解的标志。