Training Stability & Mixed Precision: 解释梯度检查点与激活重计算对训练的影响。

Core Concept: 不保存中间激活，反向后向时重新前向计算；用约 33% 额外算力换取激活显存降到 O(√L) 或 O(1)。

数学机理：<strong>标准反向传播</strong>需保存每一层的前向激活（用于计算局部梯度），显存 O(L)（L 为层数/深度）——对深层大模型，激活显存常超过参数本身（如 7B 模型长序列训练时激活可达数十 GB）。<strong>梯度检查点（gradient checkpointing / activation recomputation）</strong> 的思路是'用计算换显存'：前向时只保存<strong>少数几个检查点</strong>（如每 √L 层存一个），反向时从最近的检查点<strong>重新前向计算</strong>中间激活，再算梯度。<strong>显存复杂度</strong>：若把 L 层分成 √L 段、每段 √L 层，则需存 √L 个检查点 + 段内 √L 层的临时激活，峰值 O(√L)；更激进的递归检查点可达 O(log L) 或 O(1)。<strong>额外计算量</strong>：每个激活被计算一次用于前向、又一次用于重算——若检查点间隔为 k，则重算的层占总层的比例约 (k−1)/k，当 k=√L 时约 1−1/√L ≈ 100%（但实际实现中'前向重算'只做前向（比前向+反向便宜一半），故总开销约 +33% 而非 +100%）。这就是'33% 额外算力换 O(√L) 显存'的来源。

深度剖析与工程权衡：① <strong>为什么是 33%</strong>——完整训练一步 = 1 次前向 + 1 次反向（反向计算量约等于 2 次前向）；加检查点后 = 1 次前向 + 1 次重算前向 + 1 次反向 ≈ 4 次前向当量，相比 3 次增加 1/3。② <strong>与 ZeRO/offload 的配合</strong>——检查点减少<strong>激活显存</strong>，ZeRO 减少<strong>参数/优化器状态显存</strong>，offload 把状态搬到 CPU；三者正交，可叠加。大模型训练常'ZeRO-3 + 检查点 + offload'三管齐下。③ <strong>选择性检查点</strong>——只对'激活大且便宜重算'的层（如 attention 的中间张量）做检查点，对'激活小'的层不检查点，可进一步优化'显存-算力'的帕累托前沿。④ <strong>与 Flash Attention 的关系</strong>——Flash Attention 通过不物化 L×L 注意力矩阵，从根本上降低注意力激活显存，与检查点互补；两者结合是长上下文训练的标准配置。⑤ <strong>对吞吐的实际影响</strong>——33% 是理论上界，实测因内存带宽与 kernel 启动开销，吞吐下降约 20%~40%；故是否启用取决于显存是否真的瓶颈。⑥ <strong>面试要点</strong>——被问'显存不够怎么办'，应给出层次化答案：<strong>先减激活（检查点、Flash Attention）→ 再减优化器状态（ZeRO、8-bit）→ 再减参数（分片、offload）→ 最后减精度（BF16）</strong>；把检查点放在正确的位置体现系统性思维。