Training Platforms & Experiment Tracking: 解释训练成本控制的手段。

Core Concept: 降低单次成本（精度/并行效率/数据效率）、减少试验次数（HPO 早停/迁移）、以及提高利用率（调度/抢占）。

数学机理：<strong>训练成本的三个杠杆</strong>——(1) <strong>降低单次训练成本</strong>——(a) <strong>精度</strong>——(i) <strong>BF16/FP8</strong>（吞吐提升 2~4 倍）；(ii) <strong>低精度优化器状态</strong>（8-bit Adam）；(b) <strong>并行效率</strong>——(i) <strong>拓扑感知</strong>（TP 节点内）；(ii) <strong>通信重叠</strong>；(iii) <strong>避免 straggler</strong>；(c) <strong>数据效率</strong>——(i) <strong>更好的数据配比</strong>（少 token 达到同等效果）；(ii) <strong>数据质量</strong>（去重/过滤）；(d) <strong>内存优化</strong>（允许更大 batch/更长序列）——(i) 梯度检查点；(ii) Flash Attention；(iii) ZeRO/FSDP；(e) <strong>架构效率</strong>——(i) MoE（同 FLOPs 更多容量）；(ii) 更高效的注意力。(2) <strong>减少试验次数</strong>——(a) <strong>早停</strong>（HPO 的 ASHA/Hyperband）；(b) <strong>μTransfer</strong>（小模型搜超参、迁移到大模型——<strong>收益最大</strong>）；(c) <strong>迁移学习</strong>（从相似任务的好配置出发）；(d) <strong>小规模筛选</strong>（先小模型/少数据筛选，再放大）；(e) <strong>一次跑多个配置</strong>（多臂 bandit 式分配算力）。(3) <strong>提高利用率</strong>——(a) <strong>gang scheduling</strong>（避免死锁与空等）；(b) <strong>抢占</strong>（高优先级任务不等待）；(c) <strong>弹性训练</strong>（动态调整规模）；(d) <strong>健康检查</strong>（防'僵尸任务'占用资源）；(e) <strong>监控 GPU 利用率</strong>（发现'利用率低'的任务）；(f) <strong>快速重启</strong>（减少故障浪费）。<strong>量化'浪费'</strong>——(a) <strong>有效训练时间占比</strong> = 有效计算时间 / 总占用时间（含重启/等待/空转）；(b) <strong>GPU 利用率</strong>（SM 占用率、显存带宽利用率）；(c) <strong>'失败试验'的成本</strong>（HPO 中被早停的试验）；(d) <strong>'闲置成本'</strong>（分配了但没用）。<strong>常见浪费来源</strong>——(a) <strong>数据加载瓶颈</strong>（GPU 等数据——利用率低）；(b) <strong>通信瓶颈</strong>（拓扑映射错误）；(c) <strong>straggler</strong>（等最慢的）；(d) <strong>重启</strong>（故障 + 恢复时间）；(e) <strong>HPO 的盲目搜索</strong>；(f) <strong>'调试性训练'</strong>（本可小规模验证）；(g) <strong>'僵尸任务'</strong>（进程死了但资源没释放）。<strong>与其他问题的关系</strong>——(a) 与'分布式训练容错'（重启浪费）；(b) 与'超参搜索'（HPO 是成本大户）；(c) 与'推理成本'（M7 的成本优化）。<strong>实践建议</strong>——(a) <strong>BF16/FP8 + 内存优化</strong>（单次成本）；(b) <strong>μTransfer + 早停</strong>（试验次数——<strong>收益最大</strong>）；(c) <strong>gang scheduling + 抢占 + 健康检查</strong>（利用率）；(d) <strong>监控 GPU 利用率与有效训练时间</strong>（量化浪费）；(e) <strong>小规模验证先行</strong>（避免大浪费）；(f) <strong>成本归因</strong>（按团队/项目）。<strong>度量</strong>——(a) GPU-hours 与成本；(b) 有效训练时间占比；(c) GPU 利用率；(d) 达到目标指标的成本。

深度剖析与工程权衡：① <strong>'μTransfer 收益最大'</strong>——小模型搜超参、迁移到大模型；避免在大模型上盲目搜索；面试中能指出是深度理解的标志。② <strong>'有效训练时间占比'是量化浪费的关键指标</strong>——很多团队只看'GPU-hours'不看'利用率'。③ <strong>'数据加载瓶颈'常被忽视</strong>——GPU 等数据；需检查数据管道。④ <strong>'僵尸任务'</strong>——进程死了资源没释放；需健康检查。⑤ <strong>'小规模验证先行'</strong>——避免'大模型上试错'的高成本。⑥ <strong>面试要点</strong>——被问'怎么控制训练成本'，应给出'<strong>三个杠杆（单次成本/试验次数/利用率）+ μTransfer + 早停 + 监控利用率 + 量化浪费</strong>'；能指出'μTransfer 收益最大'是深度理解的标志。