Chinchilla 算力最优定律与比率

DeepMind Chinchilla 算力最优缩放定律与参数-数据比严格数学推导 (Chinchilla Compute-Optimal Scaling Laws & Parameter-to-Data Ratio Derivation) 是现代大语言模型（从 Llama 到 DeepSeek）预训练算力预算与模型/数据规模配比的黄金物理定律；Chinchilla 修正了 Kaplan 早期高估模型参数、低估数据量的错误拟合，建立包含不可约噪声 $E$ 的幂律损失函数曲面：$L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}$（其中 $N$ 为非 Embedding 参数量，$D$ 为训练 Token 数，$\alpha \approx 0.34, \beta \approx 0.28$）；在固定算力预算 $C \approx 6 N D$ 约束下，利用拉格朗日乘子法求解 $\min_{N, D} L(N, D)$，推导出最优参数量与数据量应等比例同倍率增长：$N_{\text{opt}} \propto C^a, D_{\text{opt}} \propto C^b$（其中 $a = \frac{\beta}{\alpha + \beta} \approx 0.45, b = \frac{\alpha}{\alpha + \beta} \approx 0.55$），推导出最优黄金比例为：每 1 个模型参数必须搭配约 20 个训练 Token ($D/N \approx 20$)。

亿级/万亿级大模型预训练算力预算规划、模型参数与数据集规模选型、Scaling Law 理论研究。

早期 GPT-3 (175B 仅用 300B Tokens 训练) 属于严重的“模型过大但训练欠拟合 (Under-trained)”；Chinchilla 定律指导了 Llama (7B 配 2T Tokens，超饱和训练) 的诞生，大幅降低了推理 Serving 成本。

检验攻克程度：针对「Chinchilla 算力最优定律与比率」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。