05. 预训练、后训练与对齐
把基础模型训练成具备深度逻辑推理、严格指令遵循、安全人类偏好与自反思能力的生产力工具。
5.1 大规模分布式预训练系统
3D 并行 (TP/PP/DP)、Sequence/Context Parallelism (SP/CP)、PyTorch FSDP、DeepSpeed ZeRO-1/2/3 显存切分、长周期训练容错与异步 Checkpoint 恢复。
3D 并行 (TP/PP/DP)、FSDP 与 ZeRO 显存切分
Megatron-LM 张量/流水线并行通信切分、Context/Sequence Parallelism (CP/SP) 超长上下文切分、PyTorch FSDP 全分片数据并行、DeepSpeed ZeRO-1/2/3 状态分片与 Activation Checkpointing 重计算显存优化。
长周期训练容错、Checkpoint 与训练可观测性
万卡 GPU 训练异步 Checkpoint 保存与秒级恢复、慢节点与静默死锁检测 (Straggler/Hang Detection)、FP8/BF16 混合精度数值稳定性、Loss Spike 自动回滚干预与全栈训练指标可观测性 (W&B)。
5.2 监督微调、参数高效适配与数据闭环
LoRA/QLoRA/DoRA 低秩参数适配、Loss Masking、多任务指令混合配比 (Data Mixture)、难易度课程学习与离线质量回归门禁。
LoRA / QLoRA / DoRA 低秩适配与高效微调引擎
LoRA 低秩矩阵分解推导 ($W = W_0 + \frac{\alpha}{r}BA$)、QLoRA NF4 4-bit 量化微调、DoRA 权重方向与幅度解耦、Loss Masking 标签屏蔽与 Unsloth / PEFT 显存加速内核。
高质量指令混合、Curriculum 课程学习与回归评测
多任务领域指令加权配比 (Data Mixture & Weighting)、难易度渐进式课程微调 (Curriculum Tuning)、领域灾难性遗忘抑制、Chat Template 对话格式安全与上线前自动化回归评测门禁。
5.3 偏好对齐、强化学习与推理进化
DPO/IPO/SimPO 离线直接偏好优化、Constitutional AI 宪政对齐、PPO 在线强化学习、DeepSeek-R1 GRPO 群体相对采样与规则自验证 (RLVR)。
DPO / IPO 离线直接偏好优化与偏好数据采集
DPO 封闭解析解推导 (Direct Preference Optimization 绕过显式奖励模型)、IPO / KTO / SimPO 算法变体、Constitutional AI 宪政自对齐、高质量偏好对构建与分布外 (OOD) 生成退化抑制。
PPO 在线强化学习、DeepSeek GRPO 与规则验证 (RLVR)
PPO 在线策略梯度与 Critic/Reward 奖励模型协同训练、DeepSeek-R1 GRPO (Group Relative Policy Optimization) 群体相对奖励采样 (无需独立 Critic 网络)、数学与代码任务的规则化自验证 (RLVR 强化推理) 与 Process Reward Models (PRM 过程奖励模型)。