06. 推理加速与模型服务
让大模型走出实验室,以毫秒级延迟、极致显存利用率与千万并发高可用服务全球生产级用户。
6.1 算子优化、编译器与硬件加速
CUDA C/C++ 算子手撕、OpenAI Triton 语言编程、FlashAttention-1/2/3 显存 IO 优化、TensorRT 图优化、ROCm/HIP 与 OpenVINO 异构硬件编译。
FlashAttention-1/2/3 显存优化与 OpenAI Triton 算子编写
分块计算 (Tiling)、SRAM 片上在线 Softmax 统计量维护、显存 IO 访问量从 $O(N^2)$ 降低至 $O(N)$(标准算术计算保持 $O(N^2 d)$)、Warp 特化 (Warp Specialization) 与 OpenAI Triton 语言 GPU 算子编写。
深度学习编译器、图优化与跨硬件异构加速
TensorRT / TVM / XLA 计算图重写、算子自动融合 (Operator Fusion)、CUTLASS 3.x 高性能 GEMM 模板、AMD ROCm/HIP、Intel OpenVINO 与 Roofline 性能瓶颈模型分析。
6.2 显存分页、上下文调度与投机解码
PagedAttention 虚拟显存分页、Automatic Prefix Caching (APC) / RadixAttention、Chunked Prefill、PD 分离架构 (Mooncake) 与投机采样加速。
PagedAttention 虚拟分页与 Prefix Caching 前缀复用
模仿操作系统的虚拟内存分页机制解决 KV Cache 外部显存碎片、动态 Block 分配、共享 System Prompt 的零拷贝前缀缓存 (APC / RadixAttention) 与显存生命周期回收。
Chunked Prefill、PD 分离架构与投机解码
长文本分块预填充 (Chunked Prefill 平衡 TTFT 与 TPOT)、Prefill/Decode 算力解耦分离式架构 (Disaggregated Serving / Mooncake 架构)、Speculative Decoding 投机采样 (EAGLE/Medusa 草稿模型+大模型单步并行验证) 与 Attention Sinks 滑动窗口。
6.3 模型量化压缩与硬件兼容矩阵
Hopper/Blackwell 原生 FP8/NVFP4 张量计算、SmoothQuant/QuaRot 异常值抑制、AWQ 激活感知量化、KV Cache 量化与质量回归门禁。
原生 FP8 / NVFP4 计算与 SmoothQuant / GPTQ 权重量化
Ada/Hopper 原生 FP8 (E4M3/E5M2) 与 Blackwell NVFP4 细粒度 Block 量化计算、SmoothQuant 权重激活异常值迁移、GPTQ 逆 Hessian 误差补偿低比特量化与 GGUF 端侧多平台量化格式。
激活感知 AWQ、KV Cache 量化与质量回归门禁
保护 Top-1% 敏感激活通道的 AWQ 权重剪裁、FP8/INT8 KV Cache 压缩 (显存占用砍半/并发翻倍)、Calibration 校准数据集规范与多任务基准质量回归自动化门禁 (Perplexity/MMLU/GSM8K) 及回退机制。
6.4 生产级推理引擎、控制面与高可用治理
vLLM / SGLang / TensorRT-LLM 高性能引擎、Continuous Batching 连续批处理、Multi-LoRA 并发挂载、TTFT/TPOT 延迟 SLO 治理、自适应准入与容灾回滚。
高性能推理引擎与 Iteration-level 连续批处理
vLLM、SGLang、TensorRT-LLM、TGI 引擎架构、Iteration-level 迭代级连续批处理 (Continuous Batching)、Multi-LoRA 动态并发挂载、多 GPU 跨卡张量服务化与流式 SSE / gRPC 高吞吐传输协议。
推理服务控制面、SLO 治理、弹性伸缩与容灾回滚
首字延迟 (TTFT) 与每步耗时 (TPOT) P95/P99 毫秒级延迟 SLO 体系监控、自适应准入控制与过载保护 (Admission Control / Load Shedding)、多模型网关、GPU 实例弹性伸缩 (Autoscaling)、金丝雀发布 (Canary) 与秒级故障回滚。