⬅返回 AI 全产业链总路线图
🎯
LAYER 05

05. 预训练、后训练与对齐

代表企业:
NVIDIANVIDIADeepSpeedDeepSpeedMeta (Llama)Meta (Llama)Google DeepMindGoogle DeepMindOpenAIOpenAIAnthropicAnthropicDeepSeek 深度求索DeepSeek 深度求索xAIxAITogether AITogether AICentMLCentMLHugging Face (PEFT)Hugging Face (PEFT)UnslothUnslothPredibasePredibaseScale AIScale AIDatabricksDatabricksSnorkel AISnorkel AIMeta (Llama)Meta (Llama)Hugging FaceHugging FaceMeta (Llama)Meta (Llama)

把基础模型训练成具备深度逻辑推理、严格指令遵循、安全人类偏好与自反思能力的生产力工具。

📊模块视图模式:
🌐三维立体交互路线全图

05. 预训练、后训练与对齐 · 全景技术 × 企业 × 岗位交叉关联图

点击任意标杆企业、技术大类或岗位,系统将自动高亮所有关联节点并隐去无关要素;点击技术大类右侧链接可直达独立深度子页。

🔍
🏢

标杆代表企业

19
NVIDIANVIDIA
2
DeepSpeedDeepSpeed
1
Meta (Llama)Meta (Llama)
3
Google DeepMindGoogle DeepMind
3
OpenAIOpenAI
3
AnthropicAnthropic
2
DeepSeek 深度求索DeepSeek 深度求索
3
xAIxAI
1
Together AITogether AI
2
CentMLCentML
1
Hugging Face (PEFT)Hugging Face (PEFT)
2
UnslothUnsloth
1
PredibasePredibase
1
Scale AIScale AI
2
DatabricksDatabricks
2
Snorkel AISnorkel AI
1
Meta (Llama)Meta (Llama)
2
Hugging FaceHugging Face
2
Meta (Llama)Meta (Llama)
2
🛠️

核心技术栈大类 × 原子考点体系

3 大类
5.1

5.1 大规模分布式预训练系统

3D 并行 (TP/PP/DP)、Sequence/Context Parallelism (SP/CP)、PyTorch FSDP、DeepSpeed ZeRO-1/2/3 显存切分、长周期训练容错与异步 Checkpoint 恢复。
独立模块页➔
3D 并行 (TP/PP/DP)、FSDP 与 ZeRO 显存切分
💰 $245K - $510K / 年 (大规模训练架构)
Megatron-LM 张量/流水线并行通信切分、Context/Sequence Parallelism (CP/SP) 超长上下文切分、PyTorch FSDP 全分片数据并行、DeepSpeed ZeRO-1/2/3 状态分片与 Activation Checkpointing 重计算显存优化。
标杆研发:NVIDIANVIDIADeepSpeedDeepSpeedMeta (Llama)Meta (Llama)DeepSeek 深度求索DeepSeek 深度求索Google DeepMindGoogle DeepMindOpenAIOpenAI
Tensor ParallelismPipeline ParallelismZeRO-3FSDPContext ParallelismMegatron-LMActivation Checkpointing
长周期训练容错、Checkpoint 与训练可观测性
💰 $235K - $480K / 年 (训练稳定性与性能)
万卡 GPU 训练异步 Checkpoint 保存与秒级恢复、慢节点与静默死锁检测 (Straggler/Hang Detection)、FP8/BF16 混合精度数值稳定性、Loss Spike 自动回滚干预与全栈训练指标可观测性 (W&B)。
标杆研发:NVIDIANVIDIADeepSeek 深度求索DeepSeek 深度求索Meta (Llama)Meta (Llama)Together AITogether AICentMLCentMLxAIxAI
Fault ToleranceAsync CheckpointingStraggler DetectionLoss Spike RemediationFP8 StabilityTraining TelemetryW&B
5.2

5.2 监督微调、参数高效适配与数据闭环

LoRA/QLoRA/DoRA 低秩参数适配、Loss Masking、多任务指令混合配比 (Data Mixture)、难易度课程学习与离线质量回归门禁。
独立模块页➔
LoRA / QLoRA / DoRA 低秩适配与高效微调引擎
💰 $195K - $390K / 年 (SFT 与垂直微调)
LoRA 低秩矩阵分解推导 ($W = W_0 + \frac{\alpha}{r}BA$)、QLoRA NF4 4-bit 量化微调、DoRA 权重方向与幅度解耦、Loss Masking 标签屏蔽与 Unsloth / PEFT 显存加速内核。
标杆研发:UnslothUnslothHugging Face (PEFT)Hugging Face (PEFT)PredibasePredibaseTogether AITogether AIDatabricksDatabricks
LoRAQLoRADoRASFTLoss MaskingPEFTUnsloth
高质量指令混合、Curriculum 课程学习与回归评测
💰 $185K - $370K / 年 (指令数据与微调评测)
多任务领域指令加权配比 (Data Mixture & Weighting)、难易度渐进式课程微调 (Curriculum Tuning)、领域灾难性遗忘抑制、Chat Template 对话格式安全与上线前自动化回归评测门禁。
标杆研发:Hugging FaceHugging FaceScale AIScale AIDatabricksDatabricksSnorkel AISnorkel AI
Instruction MixtureCurriculum TuningCatastrophic ForgettingChat TemplateRegression GatesEvaluation Gate
5.3

5.3 偏好对齐、强化学习与推理进化

DPO/IPO/SimPO 离线直接偏好优化、Constitutional AI 宪政对齐、PPO 在线强化学习、DeepSeek-R1 GRPO 群体相对采样与规则自验证 (RLVR)。
独立模块页➔
DPO / IPO 离线直接偏好优化与偏好数据采集
💰 $255K - $540K / 年 (偏好对齐与价值对齐)
DPO 封闭解析解推导 (Direct Preference Optimization 绕过显式奖励模型)、IPO / KTO / SimPO 算法变体、Constitutional AI 宪政自对齐、高质量偏好对构建与分布外 (OOD) 生成退化抑制。
标杆研发:AnthropicAnthropicOpenAIOpenAIMeta (Llama)Meta (Llama)Google DeepMindGoogle DeepMindScale AIScale AI
DPOIPOKTOSimPOConstitutional AIPreference PairsOOD Degeneration
PPO 在线强化学习、DeepSeek GRPO 与规则验证 (RLVR)
💰 $270K - $620K / 年 (前沿 RL 与推理进化)
PPO 在线策略梯度与 Critic/Reward 奖励模型协同训练、DeepSeek-R1 GRPO (Group Relative Policy Optimization) 群体相对奖励采样 (无需独立 Critic 网络)、数学与代码任务的规则化自验证 (RLVR 强化推理) 与 Process Reward Models (PRM 过程奖励模型)。
标杆研发:DeepSeek 深度求索DeepSeek 深度求索OpenAIOpenAIAnthropicAnthropicGoogle DeepMindGoogle DeepMind
GRPODeepSeek-R1PPORLVRProcess Reward ModelsRule-Based RewardsActor-Critic
💼

产业链对口岗位

13
💼Training Engineer
2
💼Distributed Training Engineer
2
💼ML Systems Engineer
1
💼Fine-Tuning Engineer
2
💼Alignment Engineer
2
💼RL Engineer
2
💼Safety Researcher
1
💼Evaluation Engineer
2
💼Research Scientist
1
💼Research Engineer
1
💼Performance Engineer
1
💼ML Engineer
2
💼LLM Application Engineer
1
🔄子领域时序演进链路 (共 3 个子领域):
5.1

5.1 大规模分布式预训练系统

查看独立子模块页➔

3D 并行 (TP/PP/DP)、Sequence/Context Parallelism (SP/CP)、PyTorch FSDP、DeepSpeed ZeRO-1/2/3 显存切分、长周期训练容错与异步 Checkpoint 恢复。

3D 并行 (TP/PP/DP)、FSDP 与 ZeRO 显存切分

Megatron-LM 张量/流水线并行通信切分、Context/Sequence Parallelism (CP/SP) 超长上下文切分、PyTorch FSDP 全分片数据并行、DeepSpeed ZeRO-1/2/3 状态分片与 Activation Checkpointing 重计算显存优化。

🏢 代表企业
NVIDIANVIDIADeepSpeedDeepSpeedMeta (Llama)Meta (Llama)DeepSeek 深度求索DeepSeek 深度求索Google DeepMindGoogle DeepMindOpenAIOpenAI
🛠️ 核心技术栈
Tensor ParallelismPipeline ParallelismZeRO-3FSDPContext ParallelismMegatron-LMActivation Checkpointing
💼 典型岗位与薪资
Training Engineer、Distributed Training Engineer、ML Systems Engineer
💰 $245K - $510K / 年 (大规模训练架构) | ¥75W - ¥185W / 年

长周期训练容错、Checkpoint 与训练可观测性

万卡 GPU 训练异步 Checkpoint 保存与秒级恢复、慢节点与静默死锁检测 (Straggler/Hang Detection)、FP8/BF16 混合精度数值稳定性、Loss Spike 自动回滚干预与全栈训练指标可观测性 (W&B)。

🏢 代表企业
NVIDIANVIDIADeepSeek 深度求索DeepSeek 深度求索Meta (Llama)Meta (Llama)Together AITogether AICentMLCentMLxAIxAI
🛠️ 核心技术栈
Fault ToleranceAsync CheckpointingStraggler DetectionLoss Spike RemediationFP8 StabilityTraining TelemetryW&B
💼 典型岗位与薪资
Distributed Training Engineer、Performance Engineer、Research Engineer
💰 $235K - $480K / 年 (训练稳定性与性能) | ¥70W - ¥175W / 年
⬇
5.2

5.2 监督微调、参数高效适配与数据闭环

查看独立子模块页➔

LoRA/QLoRA/DoRA 低秩参数适配、Loss Masking、多任务指令混合配比 (Data Mixture)、难易度课程学习与离线质量回归门禁。

LoRA / QLoRA / DoRA 低秩适配与高效微调引擎

LoRA 低秩矩阵分解推导 ($W = W_0 + \frac{\alpha}{r}BA$)、QLoRA NF4 4-bit 量化微调、DoRA 权重方向与幅度解耦、Loss Masking 标签屏蔽与 Unsloth / PEFT 显存加速内核。

🏢 代表企业
UnslothUnslothHugging Face (PEFT)Hugging Face (PEFT)PredibasePredibaseTogether AITogether AIDatabricksDatabricks
🛠️ 核心技术栈
LoRAQLoRADoRASFTLoss MaskingPEFTUnsloth
💼 典型岗位与薪资
Fine-Tuning Engineer、ML Engineer、LLM Application Engineer
💰 $195K - $390K / 年 (SFT 与垂直微调) | ¥50W - ¥120W / 年

高质量指令混合、Curriculum 课程学习与回归评测

多任务领域指令加权配比 (Data Mixture & Weighting)、难易度渐进式课程微调 (Curriculum Tuning)、领域灾难性遗忘抑制、Chat Template 对话格式安全与上线前自动化回归评测门禁。

🏢 代表企业
Hugging FaceHugging FaceScale AIScale AIDatabricksDatabricksSnorkel AISnorkel AI
🛠️ 核心技术栈
Instruction MixtureCurriculum TuningCatastrophic ForgettingChat TemplateRegression GatesEvaluation Gate
💼 典型岗位与薪资
Fine-Tuning Engineer、Evaluation Engineer、ML Engineer
💰 $185K - $370K / 年 (指令数据与微调评测) | ¥48W - ¥110W / 年
⬇
5.3

5.3 偏好对齐、强化学习与推理进化

查看独立子模块页➔

DPO/IPO/SimPO 离线直接偏好优化、Constitutional AI 宪政对齐、PPO 在线强化学习、DeepSeek-R1 GRPO 群体相对采样与规则自验证 (RLVR)。

DPO / IPO 离线直接偏好优化与偏好数据采集

DPO 封闭解析解推导 (Direct Preference Optimization 绕过显式奖励模型)、IPO / KTO / SimPO 算法变体、Constitutional AI 宪政自对齐、高质量偏好对构建与分布外 (OOD) 生成退化抑制。

🏢 代表企业
AnthropicAnthropicOpenAIOpenAIMeta (Llama)Meta (Llama)Google DeepMindGoogle DeepMindScale AIScale AI
🛠️ 核心技术栈
DPOIPOKTOSimPOConstitutional AIPreference PairsOOD Degeneration
💼 典型岗位与薪资
Alignment Engineer、Safety Researcher、RL Engineer
💰 $255K - $540K / 年 (偏好对齐与价值对齐) | ¥80W - ¥200W / 年

PPO 在线强化学习、DeepSeek GRPO 与规则验证 (RLVR)

PPO 在线策略梯度与 Critic/Reward 奖励模型协同训练、DeepSeek-R1 GRPO (Group Relative Policy Optimization) 群体相对奖励采样 (无需独立 Critic 网络)、数学与代码任务的规则化自验证 (RLVR 强化推理) 与 Process Reward Models (PRM 过程奖励模型)。

🏢 代表企业
DeepSeek 深度求索DeepSeek 深度求索OpenAIOpenAIAnthropicAnthropicGoogle DeepMindGoogle DeepMind
🛠️ 核心技术栈
GRPODeepSeek-R1PPORLVRProcess Reward ModelsRule-Based RewardsActor-Critic
💼 典型岗位与薪资
RL Engineer、Alignment Engineer、Research Scientist、Evaluation Engineer
💰 $270K - $620K / 年 (前沿 RL 与推理进化) | ¥90W - ¥250W / 年