⬅返回 AI 全产业链总路线图
⚡
LAYER 06

06. 推理加速与模型服务

代表企业:
TensorRT-LLMTensorRT-LLMvLLMvLLMSGLangSGLangOpenAI TritonOpenAI TritonAMDAMDIntelIntelModularModularAnyscaleAnyscaleGroqGroqCerebrasCerebrasFireworks AIFireworks AITogether AITogether AIModalModalTGITGIllama.cppllama.cppMIT HAN LabMIT HAN LabNeural MagicNeural MagicCentMLCentMLNVIDIANVIDIAMeta (Llama)Meta (Llama)ModularModularMIT HAN LabMIT HAN LabHugging FaceHugging FaceAMDAMDBasetenBaseten

让大模型走出实验室,以毫秒级延迟、极致显存利用率与千万并发高可用服务全球生产级用户。

📊模块视图模式:
🌐三维立体交互路线全图

06. 推理加速与模型服务 · 全景技术 × 企业 × 岗位交叉关联图

点击任意标杆企业、技术大类或岗位,系统将自动高亮所有关联节点并隐去无关要素;点击技术大类右侧链接可直达独立深度子页。

🔍
🏢

标杆代表企业

25
TensorRT-LLMTensorRT-LLM
6
vLLMvLLM
3
SGLangSGLang
3
OpenAI TritonOpenAI Triton
1
AMDAMD
2
IntelIntel
2
ModularModular
2
AnyscaleAnyscale
3
GroqGroq
3
CerebrasCerebras
0
Fireworks AIFireworks AI
1
Together AITogether AI
2
ModalModal
1
TGITGI
2
llama.cppllama.cpp
1
MIT HAN LabMIT HAN Lab
2
Neural MagicNeural Magic
1
CentMLCentML
2
NVIDIANVIDIA
6
Meta (Llama)Meta (Llama)
1
ModularModular
2
MIT HAN LabMIT HAN Lab
2
Hugging FaceHugging Face
2
AMDAMD
2
BasetenBaseten
1
🛠️

核心技术栈大类 × 原子考点体系

4 大类
6.1

6.1 算子优化、编译器与硬件加速

CUDA C/C++ 算子手撕、OpenAI Triton 语言编程、FlashAttention-1/2/3 显存 IO 优化、TensorRT 图优化、ROCm/HIP 与 OpenVINO 异构硬件编译。
独立模块页➔
FlashAttention-1/2/3 显存优化与 OpenAI Triton 算子编写
💰 $250K - $540K / 年 (算子开发与 GPU 极客)
分块计算 (Tiling)、SRAM 片上在线 Softmax 统计量维护、显存 IO 访问量从 $O(N^2)$ 降低至 $O(N)$(标准算术计算保持 $O(N^2 d)$)、Warp 特化 (Warp Specialization) 与 OpenAI Triton 语言 GPU 算子编写。
标杆研发:NVIDIANVIDIAOpenAI TritonOpenAI TritonMeta (Llama)Meta (Llama)ModularModularCentMLCentML
FlashAttention-3CUDAOpenAI TritonOnline SoftmaxTilingSRAMWarp SpecializationOperator Fusion
深度学习编译器、图优化与跨硬件异构加速
💰 $230K - $490K / 年 (AI 编译器与异构计算)
TensorRT / TVM / XLA 计算图重写、算子自动融合 (Operator Fusion)、CUTLASS 3.x 高性能 GEMM 模板、AMD ROCm/HIP、Intel OpenVINO 与 Roofline 性能瓶颈模型分析。
标杆研发:NVIDIANVIDIAAMDAMDIntelIntelModularModularCentMLCentML
TensorRTTVMXLACUTLASSROCmOpenVINOOperator FusionRoofline Model
6.2

6.2 显存分页、上下文调度与投机解码

PagedAttention 虚拟显存分页、Automatic Prefix Caching (APC) / RadixAttention、Chunked Prefill、PD 分离架构 (Mooncake) 与投机采样加速。
独立模块页➔
PagedAttention 虚拟分页与 Prefix Caching 前缀复用
💰 $230K - $500K / 年 (显存管理与系统优化)
模仿操作系统的虚拟内存分页机制解决 KV Cache 外部显存碎片、动态 Block 分配、共享 System Prompt 的零拷贝前缀缓存 (APC / RadixAttention) 与显存生命周期回收。
标杆研发:vLLMvLLMSGLangSGLangAnyscaleAnyscaleTensorRT-LLMTensorRT-LLM
PagedAttentionKV CachePrefix CachingRadixAttentionVirtual MemoryvLLMSGLang
Chunked Prefill、PD 分离架构与投机解码
💰 $240K - $510K / 年 (前沿推理与流式系统)
长文本分块预填充 (Chunked Prefill 平衡 TTFT 与 TPOT)、Prefill/Decode 算力解耦分离式架构 (Disaggregated Serving / Mooncake 架构)、Speculative Decoding 投机采样 (EAGLE/Medusa 草稿模型+大模型单步并行验证) 与 Attention Sinks 滑动窗口。
标杆研发:vLLMvLLMSGLangSGLangTogether AITogether AIAnyscaleAnyscaleGroqGroq
Chunked PrefillDisaggregated ServingSpeculative DecodingMooncakeEAGLEAttention SinksTTFT / TPOT
6.3

6.3 模型量化压缩与硬件兼容矩阵

Hopper/Blackwell 原生 FP8/NVFP4 张量计算、SmoothQuant/QuaRot 异常值抑制、AWQ 激活感知量化、KV Cache 量化与质量回归门禁。
独立模块页➔
原生 FP8 / NVFP4 计算与 SmoothQuant / GPTQ 权重量化
💰 $210K - $440K / 年 (量化算法与底层优化)
Ada/Hopper 原生 FP8 (E4M3/E5M2) 与 Blackwell NVFP4 细粒度 Block 量化计算、SmoothQuant 权重激活异常值迁移、GPTQ 逆 Hessian 误差补偿低比特量化与 GGUF 端侧多平台量化格式。
标杆研发:NVIDIANVIDIAMIT HAN LabMIT HAN LabNeural MagicNeural Magicllama.cppllama.cppHugging FaceHugging Face
FP8 (E4M3/E5M2)NVFP4SmoothQuantGPTQGGUFINT4Tensor Cores
激活感知 AWQ、KV Cache 量化与质量回归门禁
💰 $205K - $430K / 年 (量化评测与显存压缩)
保护 Top-1% 敏感激活通道的 AWQ 权重剪裁、FP8/INT8 KV Cache 压缩 (显存占用砍半/并发翻倍)、Calibration 校准数据集规范与多任务基准质量回归自动化门禁 (Perplexity/MMLU/GSM8K) 及回退机制。
标杆研发:NVIDIANVIDIAMIT HAN LabMIT HAN LabAMDAMDIntelIntel
AWQKV Cache QuantizationCalibration DatasetPerplexity RegressionQuality GatesMMLUAccuracy Fallback
6.4

6.4 生产级推理引擎、控制面与高可用治理

vLLM / SGLang / TensorRT-LLM 高性能引擎、Continuous Batching 连续批处理、Multi-LoRA 并发挂载、TTFT/TPOT 延迟 SLO 治理、自适应准入与容灾回滚。
独立模块页➔
高性能推理引擎与 Iteration-level 连续批处理
💰 $235K - $510K / 年 (生产推理引擎与并发)
vLLM、SGLang、TensorRT-LLM、TGI 引擎架构、Iteration-level 迭代级连续批处理 (Continuous Batching)、Multi-LoRA 动态并发挂载、多 GPU 跨卡张量服务化与流式 SSE / gRPC 高吞吐传输协议。
标杆研发:vLLMvLLMSGLangSGLangTensorRT-LLMTensorRT-LLMTGITGIGroqGroq
vLLMSGLangTensorRT-LLMContinuous BatchingMulti-LoRATGISSE / gRPCModel Serving
推理服务控制面、SLO 治理、弹性伸缩与容灾回滚
💰 $225K - $480K / 年 (服务可用性与控制面)
首字延迟 (TTFT) 与每步耗时 (TPOT) P95/P99 毫秒级延迟 SLO 体系监控、自适应准入控制与过载保护 (Admission Control / Load Shedding)、多模型网关、GPU 实例弹性伸缩 (Autoscaling)、金丝雀发布 (Canary) 与秒级故障回滚。
标杆研发:Fireworks AIFireworks AITogether AITogether AIAnyscaleAnyscaleModalModalBasetenBasetenGroqGroq
SLO GovernanceTTFT / TPOTAdmission ControlLoad SheddingAutoscalingCanary DeploymentRollbackCost per Token
💼

产业链对口岗位

15
💼CUDA Engineer
1
💼GPU Kernel Engineer
1
💼Compiler Engineer
1
💼Hardware Acceleration Engineer
1
💼Inference Engineer
6
💼Quantization Engineer
2
💼Serving Reliability Engineer
1
💼C++ Performance Engineer
2
💼AI Platform Engineer
2
💼ML Systems Engineer
3
💼Distributed Serving Engineer
1
💼Model Optimization Engineer
1
💼Evaluation Engineer
1
💼Backend Performance Engineer
1
💼MLOps / SRE Architect
1
🔄子领域时序演进链路 (共 4 个子领域):
6.1

6.1 算子优化、编译器与硬件加速

查看独立子模块页➔

CUDA C/C++ 算子手撕、OpenAI Triton 语言编程、FlashAttention-1/2/3 显存 IO 优化、TensorRT 图优化、ROCm/HIP 与 OpenVINO 异构硬件编译。

FlashAttention-1/2/3 显存优化与 OpenAI Triton 算子编写

分块计算 (Tiling)、SRAM 片上在线 Softmax 统计量维护、显存 IO 访问量从 $O(N^2)$ 降低至 $O(N)$(标准算术计算保持 $O(N^2 d)$)、Warp 特化 (Warp Specialization) 与 OpenAI Triton 语言 GPU 算子编写。

🏢 代表企业
NVIDIANVIDIAOpenAI TritonOpenAI TritonMeta (Llama)Meta (Llama)ModularModularCentMLCentML
🛠️ 核心技术栈
FlashAttention-3CUDAOpenAI TritonOnline SoftmaxTilingSRAMWarp SpecializationOperator Fusion
💼 典型岗位与薪资
CUDA Engineer、GPU Kernel Engineer、Inference Engineer、C++ Performance Engineer
💰 $250K - $540K / 年 (算子开发与 GPU 极客) | ¥75W - ¥180W / 年
⚡【微沙箱】FlashAttention 显存节省实时演算器
输入上下文长度 (Sequence Length):4,096 tokens
传统标准 Attention
1,024 MB
O(N²) 显存暴涨
FlashAttention 分块
32 MB
节省 97% 显存 (O(N))

深度学习编译器、图优化与跨硬件异构加速

TensorRT / TVM / XLA 计算图重写、算子自动融合 (Operator Fusion)、CUTLASS 3.x 高性能 GEMM 模板、AMD ROCm/HIP、Intel OpenVINO 与 Roofline 性能瓶颈模型分析。

🏢 代表企业
NVIDIANVIDIAAMDAMDIntelIntelModularModularCentMLCentML
🛠️ 核心技术栈
TensorRTTVMXLACUTLASSROCmOpenVINOOperator FusionRoofline Model
💼 典型岗位与薪资
Compiler Engineer、Hardware Acceleration Engineer、ML Systems Engineer
💰 $230K - $490K / 年 (AI 编译器与异构计算) | ¥70W - ¥165W / 年
⬇
6.2

6.2 显存分页、上下文调度与投机解码

查看独立子模块页➔

PagedAttention 虚拟显存分页、Automatic Prefix Caching (APC) / RadixAttention、Chunked Prefill、PD 分离架构 (Mooncake) 与投机采样加速。

PagedAttention 虚拟分页与 Prefix Caching 前缀复用

模仿操作系统的虚拟内存分页机制解决 KV Cache 外部显存碎片、动态 Block 分配、共享 System Prompt 的零拷贝前缀缓存 (APC / RadixAttention) 与显存生命周期回收。

🏢 代表企业
vLLMvLLMSGLangSGLangAnyscaleAnyscaleTensorRT-LLMTensorRT-LLM
🛠️ 核心技术栈
PagedAttentionKV CachePrefix CachingRadixAttentionVirtual MemoryvLLMSGLang
💼 典型岗位与薪资
Inference Engineer、ML Systems Engineer、C++ Performance Engineer
💰 $230K - $500K / 年 (显存管理与系统优化) | ¥68W - ¥160W / 年

Chunked Prefill、PD 分离架构与投机解码

长文本分块预填充 (Chunked Prefill 平衡 TTFT 与 TPOT)、Prefill/Decode 算力解耦分离式架构 (Disaggregated Serving / Mooncake 架构)、Speculative Decoding 投机采样 (EAGLE/Medusa 草稿模型+大模型单步并行验证) 与 Attention Sinks 滑动窗口。

🏢 代表企业
vLLMvLLMSGLangSGLangTogether AITogether AIAnyscaleAnyscaleGroqGroq
🛠️ 核心技术栈
Chunked PrefillDisaggregated ServingSpeculative DecodingMooncakeEAGLEAttention SinksTTFT / TPOT
💼 典型岗位与薪资
Inference Engineer、ML Systems Engineer、Distributed Serving Engineer
💰 $240K - $510K / 年 (前沿推理与流式系统) | ¥72W - ¥170W / 年
⬇
6.3

6.3 模型量化压缩与硬件兼容矩阵

查看独立子模块页➔

Hopper/Blackwell 原生 FP8/NVFP4 张量计算、SmoothQuant/QuaRot 异常值抑制、AWQ 激活感知量化、KV Cache 量化与质量回归门禁。

原生 FP8 / NVFP4 计算与 SmoothQuant / GPTQ 权重量化

Ada/Hopper 原生 FP8 (E4M3/E5M2) 与 Blackwell NVFP4 细粒度 Block 量化计算、SmoothQuant 权重激活异常值迁移、GPTQ 逆 Hessian 误差补偿低比特量化与 GGUF 端侧多平台量化格式。

🏢 代表企业
NVIDIANVIDIAMIT HAN LabMIT HAN LabNeural MagicNeural Magicllama.cppllama.cppHugging FaceHugging Face
🛠️ 核心技术栈
FP8 (E4M3/E5M2)NVFP4SmoothQuantGPTQGGUFINT4Tensor Cores
💼 典型岗位与薪资
Quantization Engineer、Model Optimization Engineer、Inference Engineer
💰 $210K - $440K / 年 (量化算法与底层优化) | ¥60W - ¥140W / 年

激活感知 AWQ、KV Cache 量化与质量回归门禁

保护 Top-1% 敏感激活通道的 AWQ 权重剪裁、FP8/INT8 KV Cache 压缩 (显存占用砍半/并发翻倍)、Calibration 校准数据集规范与多任务基准质量回归自动化门禁 (Perplexity/MMLU/GSM8K) 及回退机制。

🏢 代表企业
NVIDIANVIDIAMIT HAN LabMIT HAN LabAMDAMDIntelIntel
🛠️ 核心技术栈
AWQKV Cache QuantizationCalibration DatasetPerplexity RegressionQuality GatesMMLUAccuracy Fallback
💼 典型岗位与薪资
Quantization Engineer、Evaluation Engineer、Inference Engineer
💰 $205K - $430K / 年 (量化评测与显存压缩) | ¥58W - ¥135W / 年
⬇
6.4

6.4 生产级推理引擎、控制面与高可用治理

查看独立子模块页➔

vLLM / SGLang / TensorRT-LLM 高性能引擎、Continuous Batching 连续批处理、Multi-LoRA 并发挂载、TTFT/TPOT 延迟 SLO 治理、自适应准入与容灾回滚。

高性能推理引擎与 Iteration-level 连续批处理

vLLM、SGLang、TensorRT-LLM、TGI 引擎架构、Iteration-level 迭代级连续批处理 (Continuous Batching)、Multi-LoRA 动态并发挂载、多 GPU 跨卡张量服务化与流式 SSE / gRPC 高吞吐传输协议。

🏢 代表企业
vLLMvLLMSGLangSGLangTensorRT-LLMTensorRT-LLMTGITGIGroqGroq
🛠️ 核心技术栈
vLLMSGLangTensorRT-LLMContinuous BatchingMulti-LoRATGISSE / gRPCModel Serving
💼 典型岗位与薪资
Inference Engineer、AI Platform Engineer、Backend Performance Engineer
💰 $235K - $510K / 年 (生产推理引擎与并发) | ¥70W - ¥165W / 年

推理服务控制面、SLO 治理、弹性伸缩与容灾回滚

首字延迟 (TTFT) 与每步耗时 (TPOT) P95/P99 毫秒级延迟 SLO 体系监控、自适应准入控制与过载保护 (Admission Control / Load Shedding)、多模型网关、GPU 实例弹性伸缩 (Autoscaling)、金丝雀发布 (Canary) 与秒级故障回滚。

🏢 代表企业
Fireworks AIFireworks AITogether AITogether AIAnyscaleAnyscaleModalModalBasetenBasetenGroqGroq
🛠️ 核心技术栈
SLO GovernanceTTFT / TPOTAdmission ControlLoad SheddingAutoscalingCanary DeploymentRollbackCost per Token
💼 典型岗位与薪资
Serving Reliability Engineer、AI Platform Engineer、MLOps / SRE Architect
💰 $225K - $480K / 年 (服务可用性与控制面) | ¥65W - ¥155W / 年