缩放定律

缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: $L(N) \propto N^{-\alpha}$、$L(D) \propto D^{-\beta}$、$L(C) \propto C^{-\gamma}$, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。

选择模型规模与训练 token 预算、训练成本估算、性能外推与架构选型。

固定计算预算下'训练多大模型、多少数据'的最优配比。GPT-3 等早期模型严重欠训练(数据不足), Chinchilla 表明同等算力下把预算投给数据收益更大;幂律还可用于外推: 用 1e20 FLOPs 的小规模实验可预测 1e24 FLOPs 训练的损失, 误差约 5% 以内, 支撑了'先用小模型做实验再放大'的工程路线。

检验攻克程度：针对「缩放定律」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。