⬅返回 AI 全产业链总路线图
🧠
LAYER 04

04. 基础模型与模型资产

代表企业:
OpenAIOpenAIAnthropicAnthropicGoogle DeepMindGoogle DeepMindMeta (Llama)Meta (Llama)DeepSeek 深度求索DeepSeek 深度求索Moonshot AI (Kimi)Moonshot AI (Kimi)智谱 AI (GLM)智谱 AI (GLM)Qwen 通义千问Qwen 通义千问Mistral AIMistral AIMiniMax (海螺AI)MiniMax (海螺AI)零一万物 (01.AI)零一万物 (01.AI)百川智能百川智能MidjourneyMidjourneyRunwayRunway快手 (可灵 Kling)快手 (可灵 Kling)PikaPikaElevenLabsElevenLabsSunoSunoHugging FaceHugging Face魔搭 (ModelScope)魔搭 (ModelScope)EleutherAIEleutherAIxAIxAICohereCohereOpenAIOpenAIGoogle DeepMindGoogle DeepMindMeta AIMeta AIQwen 通义千问Qwen 通义千问

构建与沉淀大模型时代最核心的通用智能资产:稠密/MoE 架构、长上下文、多模态媒体生成与开放模型权重生态。

📊模块视图模式:
🌐三维立体交互路线全图

04. 基础模型与模型资产 · 全景技术 × 企业 × 岗位交叉关联图

点击任意标杆企业、技术大类或岗位,系统将自动高亮所有关联节点并隐去无关要素;点击技术大类右侧链接可直达独立深度子页。

🔍
🏢

标杆代表企业

27
OpenAIOpenAI
3
AnthropicAnthropic
1
Google DeepMindGoogle DeepMind
3
Meta (Llama)Meta (Llama)
4
DeepSeek 深度求索DeepSeek 深度求索
2
Moonshot AI (Kimi)Moonshot AI (Kimi)
2
智谱 AI (GLM)智谱 AI (GLM)
2
Qwen 通义千问Qwen 通义千问
3
Mistral AIMistral AI
4
MiniMax (海螺AI)MiniMax (海螺AI)
0
零一万物 (01.AI)零一万物 (01.AI)
0
百川智能百川智能
0
MidjourneyMidjourney
1
RunwayRunway
1
快手 (可灵 Kling)快手 (可灵 Kling)
1
PikaPika
1
ElevenLabsElevenLabs
1
SunoSuno
1
Hugging FaceHugging Face
2
魔搭 (ModelScope)魔搭 (ModelScope)
1
EleutherAIEleutherAI
1
xAIxAI
0
CohereCohere
0
OpenAIOpenAI
3
Google DeepMindGoogle DeepMind
3
Meta AIMeta AI
1
Qwen 通义千问Qwen 通义千问
1
🛠️

核心技术栈大类 × 原子考点体系

3 大类
4.1

4.1 大语言模型与推理架构

Transformer 核心架构演进、RoPE 旋转位置编码与长上下文扩展、MoE 稀疏门控路由、DeepSeek MLA 潜在低秩注意力与长思维链 (CoT) 推理模型。
独立模块页➔
通用 Transformer 架构演进与长上下文技术
💰 $260K - $560K / 年 (硅谷前沿模型研究)
Dense Transformer 经典演进、KV 缓存压缩机制 (MHA/GQA/MQA)、RoPE 旋转位置编码与长上下文外推 (YaRN/ALiBi)、RMSNorm 归一化、SwiGLU 激活函数与 BPE/SentencePiece 词表 Tokenizer 设计。
标杆研发:OpenAIOpenAIAnthropicAnthropicGoogle DeepMindGoogle DeepMindDeepSeek 深度求索DeepSeek 深度求索Moonshot AI (Kimi)Moonshot AI (Kimi)智谱 AI (GLM)智谱 AI (GLM)Qwen 通义千问Qwen 通义千问Meta (Llama)Meta (Llama)Mistral AIMistral AI
TransformerGQA / MQARoPEYaRNSwiGLURMSNormTokenizerLong-Context
MoE 稀疏路由与 MLA 低显存推理架构
💰 $270K - $600K / 年 (MoE/推理架构顶尖)
Top-K 专家门控路由 (Sparse Gating)、专家无辅助损失动态均衡 (Auxiliary-loss Free Balancing)、DeepSeek MLA 潜在多头注意力 (低秩投影视角压缩 KV) 与复杂长思维链 (CoT) 强化推理架构。
标杆研发:DeepSeek 深度求索DeepSeek 深度求索智谱 AI (GLM)智谱 AI (GLM)Moonshot AI (Kimi)Moonshot AI (Kimi)Mistral AIMistral AIMeta (Llama)Meta (Llama)Google DeepMindGoogle DeepMindOpenAIOpenAIQwen 通义千问Qwen 通义千问
MoEExpert RoutingDeepSeek MLALow-Rank KVAuxiliary LossReasoning ModelDeepSeek-V3
4.2

4.2 多模态、生成式媒介与语音大模型

Vision-Language (CLIP/LLaVA/Qwen-VL)、Cross-Attention 模态适配投影、Diffusion Transformer (DiT) 视频生成与端到端全双工实时语音交互大模型。
独立模块页➔
视觉语言大模型 (VLM) 与跨模态对齐
💰 $240K - $520K / 年 (多模态视觉研发)
ViT 视觉编码器 (SigLIP/CLIP)、Cross-Attention / Perceiver 跨模态特征投影 (Projector)、视觉指令理解 (LLaVA/Qwen-VL)、高分辨率动态 Patch 分块与多模态评测基准 (MMBench)。
标杆研发:OpenAIOpenAIGoogle DeepMindGoogle DeepMindMeta AIMeta AIQwen 通义千问Qwen 通义千问
VLMLLaVACLIPSigLIPMultimodal ProjectorQwen-VLDynamic Patching
Diffusion / DiT 视频生成与原生端到端语音架构
💰 $250K - $540K / 年 (视频/语音生成式 AI)
Diffusion Transformer (DiT 架构)、Flow Matching 连续流匹配、时空 3D VAE 压缩、端到端全双工实时语音大模型 (Audio Codec / Native Speech-to-Speech) 与生成媒介安全水印。
标杆研发:MidjourneyMidjourneyRunwayRunway快手 (可灵 Kling)快手 (可灵 Kling)PikaPikaElevenLabsElevenLabsSunoSuno
DiTDiffusionFlow MatchingVideo GenerationAudio CodecNative Speech LLMMidjourney
4.3

4.3 开放模型资产、检查点与许可生态

开源权重仓库 (Hugging Face / ModelScope)、SafeTensors 安全序列化、LoRA/QLoRA 适配器权重、Model Card 标准元数据与开源协议合规治理。
独立模块页➔
开源权重仓库、SafeTensors 与轻量适配器资产
💰 $170K - $340K / 年 (模型生态与工程)
Hugging Face Model Hub 与 ModelScope 开源分发、SafeTensors 零拷贝安全内存映射存储、LoRA / QLoRA 轻量微调权重资产管理与通用 Embedding / Reranker 资产发布。
标杆研发:Hugging FaceHugging Face魔搭 (ModelScope)魔搭 (ModelScope)Meta (Llama)Meta (Llama)Mistral AIMistral AIQwen 通义千问Qwen 通义千问
Model HubSafeTensorsLoRA AdaptersEmbedding ModelsRerankersHugging FaceModelScope
模型资产规范、开源协议合规与安全扫描
💰 $160K - $320K / 年 (模型合规与治理)
Model Card 标准元数据 (训练上下文/限制/评估报告)、开源协议合规治理 (Apache 2.0 / MIT / Llama Community License 商业使用限制)、SHA256 哈希校验与 Pickle 漏洞安全扫描。
标杆研发:Hugging FaceHugging FaceMeta (Llama)Meta (Llama)Mistral AIMistral AIEleutherAIEleutherAI
Model CardLicense GovernanceApache 2.0Llama LicensePickle ScanSHA256 ChecksumSecurity Scanning
💼

产业链对口岗位

11
💼Research Scientist
3
💼ML Research Engineer
2
💼LLM Architect
2
💼NLP Engineer
2
💼Multimodal Engineer
1
💼Generative Media Researcher
1
💼Speech Engineer
1
💼Computer Vision Engineer
2
💼Model Release Engineer
2
💼ML Tooling Engineer
2
💼Model Ecosystem Engineer
1
🔄子领域时序演进链路 (共 3 个子领域):
4.1

4.1 大语言模型与推理架构

查看独立子模块页➔

Transformer 核心架构演进、RoPE 旋转位置编码与长上下文扩展、MoE 稀疏门控路由、DeepSeek MLA 潜在低秩注意力与长思维链 (CoT) 推理模型。

通用 Transformer 架构演进与长上下文技术

Dense Transformer 经典演进、KV 缓存压缩机制 (MHA/GQA/MQA)、RoPE 旋转位置编码与长上下文外推 (YaRN/ALiBi)、RMSNorm 归一化、SwiGLU 激活函数与 BPE/SentencePiece 词表 Tokenizer 设计。

🏢 代表企业
OpenAIOpenAIAnthropicAnthropicGoogle DeepMindGoogle DeepMindDeepSeek 深度求索DeepSeek 深度求索Moonshot AI (Kimi)Moonshot AI (Kimi)智谱 AI (GLM)智谱 AI (GLM)Qwen 通义千问Qwen 通义千问Meta (Llama)Meta (Llama)Mistral AIMistral AI
🛠️ 核心技术栈
TransformerGQA / MQARoPEYaRNSwiGLURMSNormTokenizerLong-Context
💼 典型岗位与薪资
Research Scientist、ML Research Engineer、LLM Architect、NLP Engineer
💰 $260K - $560K / 年 (硅谷前沿模型研究) | ¥80W - ¥210W / 年 (国内核心大模型)

MoE 稀疏路由与 MLA 低显存推理架构

Top-K 专家门控路由 (Sparse Gating)、专家无辅助损失动态均衡 (Auxiliary-loss Free Balancing)、DeepSeek MLA 潜在多头注意力 (低秩投影视角压缩 KV) 与复杂长思维链 (CoT) 强化推理架构。

🏢 代表企业
DeepSeek 深度求索DeepSeek 深度求索智谱 AI (GLM)智谱 AI (GLM)Moonshot AI (Kimi)Moonshot AI (Kimi)Mistral AIMistral AIMeta (Llama)Meta (Llama)Google DeepMindGoogle DeepMindOpenAIOpenAIQwen 通义千问Qwen 通义千问
🛠️ 核心技术栈
MoEExpert RoutingDeepSeek MLALow-Rank KVAuxiliary LossReasoning ModelDeepSeek-V3
💼 典型岗位与薪资
Research Scientist、LLM Architect、ML Research Engineer
💰 $270K - $600K / 年 (MoE/推理架构顶尖) | ¥90W - ¥240W / 年
⚡【微沙箱】FlashAttention 显存节省实时演算器
输入上下文长度 (Sequence Length):4,096 tokens
传统标准 Attention
1,024 MB
O(N²) 显存暴涨
FlashAttention 分块
32 MB
节省 97% 显存 (O(N))
⬇
4.2

4.2 多模态、生成式媒介与语音大模型

查看独立子模块页➔

Vision-Language (CLIP/LLaVA/Qwen-VL)、Cross-Attention 模态适配投影、Diffusion Transformer (DiT) 视频生成与端到端全双工实时语音交互大模型。

视觉语言大模型 (VLM) 与跨模态对齐

ViT 视觉编码器 (SigLIP/CLIP)、Cross-Attention / Perceiver 跨模态特征投影 (Projector)、视觉指令理解 (LLaVA/Qwen-VL)、高分辨率动态 Patch 分块与多模态评测基准 (MMBench)。

🏢 代表企业
OpenAIOpenAIGoogle DeepMindGoogle DeepMindMeta AIMeta AIQwen 通义千问Qwen 通义千问
🛠️ 核心技术栈
VLMLLaVACLIPSigLIPMultimodal ProjectorQwen-VLDynamic Patching
💼 典型岗位与薪资
Multimodal Engineer、Computer Vision Engineer、Research Scientist
💰 $240K - $520K / 年 (多模态视觉研发) | ¥70W - ¥190W / 年

Diffusion / DiT 视频生成与原生端到端语音架构

Diffusion Transformer (DiT 架构)、Flow Matching 连续流匹配、时空 3D VAE 压缩、端到端全双工实时语音大模型 (Audio Codec / Native Speech-to-Speech) 与生成媒介安全水印。

🏢 代表企业
MidjourneyMidjourneyRunwayRunway快手 (可灵 Kling)快手 (可灵 Kling)PikaPikaElevenLabsElevenLabsSunoSuno
🛠️ 核心技术栈
DiTDiffusionFlow MatchingVideo GenerationAudio CodecNative Speech LLMMidjourney
💼 典型岗位与薪资
Generative Media Researcher、Computer Vision Engineer、Speech Engineer
💰 $250K - $540K / 年 (视频/语音生成式 AI) | ¥75W - ¥200W / 年
⬇
4.3

4.3 开放模型资产、检查点与许可生态

查看独立子模块页➔

开源权重仓库 (Hugging Face / ModelScope)、SafeTensors 安全序列化、LoRA/QLoRA 适配器权重、Model Card 标准元数据与开源协议合规治理。

开源权重仓库、SafeTensors 与轻量适配器资产

Hugging Face Model Hub 与 ModelScope 开源分发、SafeTensors 零拷贝安全内存映射存储、LoRA / QLoRA 轻量微调权重资产管理与通用 Embedding / Reranker 资产发布。

🏢 代表企业
Hugging FaceHugging Face魔搭 (ModelScope)魔搭 (ModelScope)Meta (Llama)Meta (Llama)Mistral AIMistral AIQwen 通义千问Qwen 通义千问
🛠️ 核心技术栈
Model HubSafeTensorsLoRA AdaptersEmbedding ModelsRerankersHugging FaceModelScope
💼 典型岗位与薪资
Model Release Engineer、ML Tooling Engineer、NLP Engineer
💰 $170K - $340K / 年 (模型生态与工程) | ¥42W - ¥95W / 年

模型资产规范、开源协议合规与安全扫描

Model Card 标准元数据 (训练上下文/限制/评估报告)、开源协议合规治理 (Apache 2.0 / MIT / Llama Community License 商业使用限制)、SHA256 哈希校验与 Pickle 漏洞安全扫描。

🏢 代表企业
Hugging FaceHugging FaceMeta (Llama)Meta (Llama)Mistral AIMistral AIEleutherAIEleutherAI
🛠️ 核心技术栈
Model CardLicense GovernanceApache 2.0Llama LicensePickle ScanSHA256 ChecksumSecurity Scanning
💼 典型岗位与薪资
Model Release Engineer、Model Ecosystem Engineer、ML Tooling Engineer
💰 $160K - $320K / 年 (模型合规与治理) | ¥40W - ¥90W / 年