⬅ AI 全产业总图/Layer 04 · 04. 基础模型与模型资产
4.1

4.1 大语言模型与推理架构

Transformer 核心架构演进、RoPE 旋转位置编码与长上下文扩展、MoE 稀疏门控路由、DeepSeek MLA 潜在低秩注意力与长思维链 (CoT) 推理模型。

通用 Transformer 架构演进与长上下文技术

Dense Transformer 经典演进、KV 缓存压缩机制 (MHA/GQA/MQA)、RoPE 旋转位置编码与长上下文外推 (YaRN/ALiBi)、RMSNorm 归一化、SwiGLU 激活函数与 BPE/SentencePiece 词表 Tokenizer 设计。

🏢 标杆代表企业
OpenAI、Anthropic、Google DeepMind、DeepSeek、Moonshot AI (Kimi)、智谱 AI (GLM)、Qwen (Alibaba)、Meta (Llama)、Mistral AI
🛠️ 核心技术栈
TransformerGQA / MQARoPEYaRNSwiGLURMSNormTokenizerLong-Context
💼 典型岗位与薪资
Research Scientist、ML Research Engineer、LLM Architect、NLP Engineer
💰 $260K - $560K / 年 (硅谷前沿模型研究) | ¥80W - ¥210W / 年 (国内核心大模型)
📚 先决掌握技能:PyTorch 源码与 Transformer 数学原理 • Self-Attention 显存与计算复杂度推导 • KV Cache 原理与 GQA/MQA 矩阵推导 • 位置编码数学性质 (RoPE / YaRN)

MoE 稀疏路由与 MLA 低显存推理架构

Top-K 专家门控路由 (Sparse Gating)、专家无辅助损失动态均衡 (Auxiliary-loss Free Balancing)、DeepSeek MLA 潜在多头注意力 (低秩投影视角压缩 KV) 与复杂长思维链 (CoT) 强化推理架构。

🏢 标杆代表企业
DeepSeek、智谱 AI (GLM)、Moonshot AI (Kimi)、Mistral AI、Meta (Llama)、Google DeepMind、OpenAI、Qwen (Alibaba)
🛠️ 核心技术栈
MoEExpert RoutingDeepSeek MLALow-Rank KVAuxiliary LossReasoning ModelDeepSeek-V3
💼 典型岗位与薪资
Research Scientist、LLM Architect、ML Research Engineer
💰 $270K - $600K / 年 (MoE/推理架构顶尖) | ¥90W - ¥240W / 年
📚 先决掌握技能:MoE 稀疏路由门控算法与专家并行原理 • DeepSeek MLA 矩阵低秩分解数学推导 • DeepSeek-V3 专家负载动态路由策略 • FlashAttention 算子加速与显存优化原理
⚡【微沙箱】FlashAttention 显存节省实时演算器
输入上下文长度 (Sequence Length):4,096 tokens
传统标准 Attention
1,024 MB
O(N²) 显存暴涨
FlashAttention 分块
32 MB
节省 97% 显存 (O(N))