⬅ AI 全产业总图/Layer 05 · 05. 预训练、后训练与对齐
5.1

5.1 大规模分布式预训练系统

3D 并行 (TP/PP/DP)、Sequence/Context Parallelism (SP/CP)、PyTorch FSDP、DeepSpeed ZeRO-1/2/3 显存切分、长周期训练容错与异步 Checkpoint 恢复。

3D 并行 (TP/PP/DP)、FSDP 与 ZeRO 显存切分

Megatron-LM 张量/流水线并行通信切分、Context/Sequence Parallelism (CP/SP) 超长上下文切分、PyTorch FSDP 全分片数据并行、DeepSpeed ZeRO-1/2/3 状态分片与 Activation Checkpointing 重计算显存优化。

🏢 标杆代表企业
NVIDIA、Microsoft (DeepSpeed)、Meta (FairScale)、DeepSeek、Google DeepMind、OpenAI
🛠️ 核心技术栈
Tensor ParallelismPipeline ParallelismZeRO-3FSDPContext ParallelismMegatron-LMActivation Checkpointing
💼 典型岗位与薪资
Training Engineer、Distributed Training Engineer、ML Systems Engineer
💰 $245K - $510K / 年 (大规模训练架构) | ¥75W - ¥185W / 年
📚 先决掌握技能:分布式训练原理 (TP/PP/DP/EP/CP) • CUDA 显存开销公式与 ZeRO 各阶段推导 • NCCL 集合通信 (AllGather/ReduceScatter) 拓扑建模 • PyTorch 源码分布式组件 (ProcessGroup)

长周期训练容错、Checkpoint 与训练可观测性

万卡 GPU 训练异步 Checkpoint 保存与秒级恢复、慢节点与静默死锁检测 (Straggler/Hang Detection)、FP8/BF16 混合精度数值稳定性、Loss Spike 自动回滚干预与全栈训练指标可观测性 (W&B)。

🏢 标杆代表企业
NVIDIA、DeepSeek、Meta、Together AI、CentML、xAI
🛠️ 核心技术栈
Fault ToleranceAsync CheckpointingStraggler DetectionLoss Spike RemediationFP8 StabilityTraining TelemetryW&B
💼 典型岗位与薪资
Distributed Training Engineer、Performance Engineer、Research Engineer
💰 $235K - $480K / 年 (训练稳定性与性能) | ¥70W - ¥175W / 年
📚 先决掌握技能:GPU 集群硬件故障诊断与健康巡检 • 大模型 Checkpoint 异步 I/O 流水线 • 低精度 FP8/BF16 数值下溢/溢出处理 • 分布式训练日志分析与 Prometheus/Grafana 监控