Scaling Laws & Compute Allocation: 解释数据受限下的 scaling 策略。

Core Concept: 高质量数据耗尽时，幂律失效；对策是数据高效方法（更好架构/优化）、合成数据、多轮 epoch 与退火。

数学机理：<strong>数据受限（data-constrained）问题</strong>——Chinchilla 的幂律假设'数据可无限扩展'；但<strong>高质量</strong>文本的总量是有限的（多个估计给出 10^13 量级 token，与'训练最优'所需的量在同一量级或更少）。当高质量数据耗尽时：(a) <strong>幂律失效</strong>——损失不再随 D 下降（数据项 B·D^{−β} 饱和）；(b) 继续增大 N 也无益（因为 N 与 D 应同比例）。<strong>对策</strong>：<strong>(1) 提升数据效率</strong>——用更少的 token 达到同等损失。手段：(a) <strong>更好的架构</strong>（更高效的注意力、更优的归一化/初始化）；(b) <strong>更好的优化</strong>（学习率调度、μP、更优的优化器）；(c) <strong>更好的正则/训练策略</strong>（减少重复、改进配比）。数据效率的提升直接'平移'整条 scaling 曲线。<strong>(2) 合成数据</strong>——用模型生成数据（教科书式、可验证任务）来'扩充'数据量；但风险见'合成数据'题（分布偏移、模型坍缩）。<strong>(3) 多轮 epoch（重复训练）</strong>——把同一数据训练多轮；<strong>收益递减</strong>：研究表明重复约 4 次以内收益正常，超过则<strong>快速衰减</strong>（因为重复使模型'记忆'而非'泛化'）。故重复的'有效数据量'不是线性的（重复 k 次 ≠ k 倍数据）。<strong>(4) 退火与配比优化</strong>——在末尾用高质量数据退火（见'退火'题），或用 DoReMi 优化配比；这些不增加数据总量但提升'数据利用效率'。<strong>(5) 数据质量提升</strong>——更好的过滤/去重可'释放'被浪费的数据（低质量数据浪费算力）。<strong>(6) 其他模态/语言</strong>——引入代码、多语言、多模态数据以扩展数据来源。<strong>结论</strong>——数据受限时代，<strong>'数据效率'比'数据量'更关键</strong>；同时合成数据与多轮 epoch 是'不得已'的补充手段。

深度剖析与工程权衡：① <strong>'数据墙'是否真实</strong>——有争议：高质量数据（如精编书籍、优质代码）确实有限；但'中等质量'数据（如全量网页）量更大，通过更好的过滤可提升其价值。故'墙'的位置取决于'质量门槛'的定义。② <strong>多轮 epoch 的量化</strong>——'约 4 次以内正常'是经验规律（来自 Chinchilla 系列的分析）；超过后模型倾向于记忆。故实践中应监控'有效 epoch 数'，并在接近上限时转向其他手段。③ <strong>数据效率的提升是'双赢'</strong>——它同时降低训练与推理成本（用更少 token 达到同等能力）；故架构与优化的改进（如 μP、更好的注意力）在数据受限时代价值更高。④ <strong>合成数据的定位</strong>——它是'补充'而非'替代'：合成数据承载的是'已有知识的重组'，对'新知识/长尾'帮助有限；且必须混入真实数据以防坍缩。⑤ <strong>与'推理时计算'的关系</strong>——数据受限下，另一种'扩容'是<strong>推理时计算</strong>（test-time compute，如长 CoT、多次采样）：用更多推理算力换能力，而不依赖更多训练数据。这使'训练 scaling'与'推理 scaling'成为互补的两条路（见推理时计算题）。⑥ <strong>面试要点</strong>——被问'数据用完了怎么办'，应给出'<strong>数据效率（架构/优化/正则）+ 合成数据 + 多轮 epoch（收益递减）+ 退火/配比优化 + 新模态</strong>'五条，并强调'<strong>数据效率是首选（双赢）</strong>'与'<strong>推理时计算是互补路径</strong>'；能指出'4 次重复上限'是深度理解的标志。