Scaling Laws & Compute Allocation: 解释为什么推理成本改变了 scaling 的取舍。

Core Concept: Chinchilla 只优化训练算力；若推理量大，'更多数据训练更小模型'（over-training）可降低总拥有成本。

数学机理：<strong>Chinchilla 的目标函数</strong>是'最小化<strong>训练</strong>损失'（给定训练算力 C_train≈6ND）。但真实的<strong>总拥有成本（TCO）</strong> 包含推理：TCO = 6ND（训练 FLOPs）+ Q·2N·D_infer（推理 FLOPs，Q 为请求量、D_infer 为推理 token 数）。<strong>关键观察</strong>——<strong>推理成本 ∝ 参数量 N</strong>（每 token 的前向 FLOPs≈2N），而<strong>训练成本 ∝ N×D</strong>。当推理量 Q 很大（模型被大量调用）时，<strong>降低 N 的收益</strong>（推理成本线性下降）会<strong>超过</strong>'为补偿而增加 D 的训练成本'（因为 D 增加是线性的、而 N 的推理节省被 Q 放大）。故最优配置从 Chinchilla 的'D≈20N'转向<strong>'更小的 N + 远更多的 D'</strong>——即 <strong>over-training（过度训练）</strong>。<strong>定量</strong>——若 Q 足够大，最优的 D/N 比可达数百甚至上千（LLaMA-2 7B 用 2T token ≈ 285:1；LLaMA-3 8B 用 15T token ≈ 1875:1）。<strong>权衡的临界</strong>——当'继续增大 D 的边际收益'（损失下降变缓，因为 D 的幂律指数较小）低于'推理节省'时，就应停止增大 D、转为扩大 N。故存在一个'最优的 over-training 程度'，取决于 Q（推理量）与幂律指数。<strong>另一条路</strong>——若推理量不大（如内部研究、低频调用），则 Chinchilla 的 20:1 更接近最优（训练效率优先）。

深度剖析与工程权衡：① <strong>'训练最优 vs 部署最优'的框架</strong>——这已成为模型设计的<strong>第一性决策</strong>：先估计推理量 Q，再决定 N/D 配比。这是从'学术 scaling law'到'工程经济学'的关键转变。② <strong>over-training 的实际收益</strong>——LLaMA 系列的成功验证了这条路线：7B 模型用 2T+ token 训练，推理成本远低于 70B 模型，而质量接近；这对'大规模服务'极具经济价值。③ <strong>over-training 的代价</strong>——(a) 训练算力更多（但一次性）；(b) 小模型的<strong>能力上限</strong>受限（即使训练再多，容量不足）；(c) 需要<strong>大量高质量数据</strong>（可能受数据墙限制）。④ <strong>与蒸馏/量化的配合</strong>——over-training 的小模型可进一步量化/蒸馏以降低推理成本；三者共同构成'降低 TCO'的组合。⑤ <strong>'推理量 Q'的估计</strong>——这是产品决策：高频 API 服务（Q 极大）→ 强 over-training；内部工具（Q 小）→ 偏 Chinchilla；离线批处理 → 可用更大的模型（延迟不敏感）。⑥ <strong>面试要点</strong>——被问'模型规模怎么定'，应给出'<strong>总成本 = 训练 + 推理×Q，推理成本 ∝N，故 Q 大时用小模型 + 更多数据（over-training）</strong>'的框架，并给出 LLaMA 系列的实证比（285:1、1875:1）；能指出'这是工程经济学而非纯 scaling law'是深度理解的标志。