Pretraining Objectives & Data Curation: 解释课程学习与数据排序对训练的作用。

Core Concept: 按'由易到难'或'由通用到专业'排序数据可提升收敛与最终质量；但结论不稳健，需谨慎验证。

数学机理：<strong>课程学习（curriculum learning）</strong> 的思想源于人类学习：先学简单例子、再学复杂例子，可能加速收敛并改善最终表现。形式化地，把训练数据按某种'难度'排序，分阶段呈现（如先短序列/高困惑度低的数据、后长序列/高困惑度数据），或先通用域后专业域。<strong>理论动机</strong>：(a) 早期用简单数据可让模型快速学到基础模式（避免被困难样本主导）；(b) 逐步增加难度可'平滑'优化路径（类似连续方法/退火）；(c) 与'从易到难'的优化策略（如 warmup、渐进式增长序列长度）一致。<strong>为什么结论不稳健</strong>——(a) <strong>'难度'的定义不唯一</strong>（长度？困惑度？领域距离？），不同定义效果差异大；(b) <strong>随机打乱本身就很好</strong>——大规模训练中，随机顺序已提供足够的多样性，课程带来的增益可能被稀释；(c) <strong>实验差异大</strong>——文献中课程学习有时显著有效、有时无增益甚至有害；(d) <strong>与规模的交互</strong>——在超大规模下'数据顺序'的影响小于'数据质量与配比'。<strong>更可靠的实践</strong>：<strong>(a) 序列长度课程</strong>（先短后长）——这是<strong>少数被广泛验证有效</strong>的课程形式（因为长序列训练成本高、且初期模型难以处理长依赖）；<strong>(b) 数据退火（annealing）</strong>——在训练末尾用一小段<strong>高质量/领域数据</strong>（数学、代码、指令数据）并降低学习率；这能显著提升特定能力，且成本低（只占总步数的小部分）；<strong>(c) 配比课程</strong>——前期用通用网页数据、后期提高代码/数学权重。<strong>结论</strong>——'课程学习'作为通用方法证据不足；但'序列长度课程'与'末尾数据退火'是<strong>实用且有效</strong>的两种特例。

深度剖析与工程权衡：① <strong>区分'课程'与'退火'</strong>——课程学习（全程排序）效果不稳健；而<strong>末尾退火</strong>（只改最后一小段的数据与 lr）收益明确。实践中应优先做退火（高性价比），课程作为可选优化。② <strong>序列长度课程的必要性</strong>——长序列训练的计算成本 ∝L²（注意力），故一开始就训超长序列极贵；且模型在初期无法有效利用长上下文。故'先短后长'既省算力又稳定（这与长上下文训练课程一致）。③ <strong>与 scaling law 的关系</strong>——在'数据受限'场景，数据顺序的影响上升（因为每个样本被重复看到）；此时课程与退火的价值更大。④ <strong>退火数据的选择</strong>——退火阶段的数据应'与目标能力对齐'（如要提升数学就放数学数据）；其效果类似于'用少量高质量数据微调'，但仍在预训练框架内（不引入新阶段）。⑤ <strong>实验设计要点</strong>——评估课程学习需<strong>控制变量</strong>（同样的数据总量、同样的计算量），否则容易把'多训练了'误判为'课程有效'。这是该领域结论混乱的原因之一。⑥ <strong>面试要点</strong>——被问'课程学习有用吗'，应诚实回答'<strong>作为通用方法证据不足、结论不稳健</strong>'，但指出'<strong>序列长度课程</strong>与<strong>末尾数据退火</strong>是实用特例'；这种'区分普遍性与特例'的回答是深度理解的标志（切忌把课程学习当成'公认有效'的方法）。