⚡ 大语言模型ID: scaling-laws

缩放定律

Q: 幂律公式的形式? Kaplan 与 Chinchilla 两种观点的差异?

【缩放定律 核心考点 1】幂律公式的形式? Kaplan 与 Chinchilla 两种观点的差异?。技术解析：定义: 缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: L(N) \propto N^{-\alpha}、L(D) \propto D^{-\beta}、L(C) \propto C^{-\gamma}, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。 使用场景: 选择模型规模与训练 t... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/scaling-laws

Q: 为什么同等算力下数据比参数更重要?

【缩放定律 核心考点 2】为什么同等算力下数据比参数更重要?。技术解析：定义: 缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: L(N) \propto N^{-\alpha}、L(D) \propto D^{-\beta}、L(C) \propto C^{-\gamma}, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。 使用场景: 选择模型规模与训练 t... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/scaling-laws

Q: Chinchilla 法则的内容与 20:1 数据参数比如何得出?

【缩放定律 核心考点 3】Chinchilla 法则的内容与 20:1 数据参数比如何得出?。技术解析：定义: 缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: L(N) \propto N^{-\alpha}、L(D) \propto D^{-\beta}、L(C) \propto C^{-\gamma}, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。 使用场景: 选择模型规模与训练 t... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/scaling-laws

Q: 缩放定律能否无限外推? 饱和与涌现现象?

【缩放定律 核心考点 4】缩放定律能否无限外推? 饱和与涌现现象?。技术解析：定义: 缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: L(N) \propto N^{-\alpha}、L(D) \propto D^{-\beta}、L(C) \propto C^{-\gamma}, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。 使用场景: 选择模型规模与训练 t... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/scaling-laws

Q: 如何用缩放定律选择 N/D 并估算训练成本?

【缩放定律 核心考点 5】如何用缩放定律选择 N/D 并估算训练成本?。技术解析：定义: 缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降: L(N) \propto N^{-\alpha}、L(D) \propto D^{-\beta}、L(C) \propto C^{-\gamma}, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。 使用场景: 选择模型规模与训练 t... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/scaling-laws

Scaling Laws

🎯核心定义

缩放定律描述模型交叉熵损失随参数 N、数据量 D、计算量 C 呈幂律下降:

L(N) \propto N^{-\alpha}

、

L(D) \propto D^{-\beta}

、

L(C) \propto C^{-\gamma}

, 其中 α≈0.076、β≈0.095。Kaplan 定律主张参数比数据重要; Chinchilla 法则(2022)修正为数据与参数应同步增长: 最优数据量 ≈ 20 × 参数量, 即 70B 模型对应约 1.4T tokens——'数据比参数更重要'。LLaMA 系列即遵循此配比训练。

💡使用场景

选择模型规模与训练 token 预算、训练成本估算、性能外推与架构选型。

⚡解决的核心痛点

固定计算预算下'训练多大模型、多少数据'的最优配比。GPT-3 等早期模型严重欠训练(数据不足), Chinchilla 表明同等算力下把预算投给数据收益更大;幂律还可用于外推: 用 1e20 FLOPs 的小规模实验可预测 1e24 FLOPs 训练的损失, 误差约 5% 以内, 支撑了'先用小模型做实验再放大'的工程路线。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【缩放定律】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【缩放定律】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

幂律公式的形式? Kaplan 与 Chinchilla 两种观点的差异?

为什么同等算力下数据比参数更重要?

Chinchilla 法则的内容与 20:1 数据参数比如何得出?

缩放定律能否无限外推? 饱和与涌现现象?

如何用缩放定律选择 N/D 并估算训练成本?

📖 关联深度指南:📄 llm-foundations-and-sota →

更新于 2026-08-12

🎯

检验攻克程度：针对「缩放定律」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点自动指标 vs LLM-Judge 下一个知识点 →模型家族与演进

缩放定律

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片