6.2
6.2 显存分页、上下文调度与投机解码
PagedAttention 虚拟显存分页、Automatic Prefix Caching (APC) / RadixAttention、Chunked Prefill、PD 分离架构 (Mooncake) 与投机采样加速。
PagedAttention 虚拟分页与 Prefix Caching 前缀复用
模仿操作系统的虚拟内存分页机制解决 KV Cache 外部显存碎片、动态 Block 分配、共享 System Prompt 的零拷贝前缀缓存 (APC / RadixAttention) 与显存生命周期回收。
🏢 标杆代表企业
vLLM Community、SGLang、Anyscale、NVIDIA (TensorRT-LLM)
🛠️ 核心技术栈
PagedAttentionKV CachePrefix CachingRadixAttentionVirtual MemoryvLLMSGLang
💼 典型岗位与薪资
Inference Engineer、ML Systems Engineer、C++ Performance Engineer
💰 $230K - $500K / 年 (显存管理与系统优化) | ¥68W - ¥160W / 年
📚 先决掌握技能:操作系统虚拟内存页表与缺页机制 • KV Cache 显存开销精确公式推导 • Radix 树前缀匹配与 LRU 缓存置换 • 现代 C++ 高性能内存池与并发数据结构
Chunked Prefill、PD 分离架构与投机解码
长文本分块预填充 (Chunked Prefill 平衡 TTFT 与 TPOT)、Prefill/Decode 算力解耦分离式架构 (Disaggregated Serving / Mooncake 架构)、Speculative Decoding 投机采样 (EAGLE/Medusa 草稿模型+大模型单步并行验证) 与 Attention Sinks 滑动窗口。
🏢 标杆代表企业
vLLM Community、SGLang、Together AI、Anyscale、Groq
🛠️ 核心技术栈
Chunked PrefillDisaggregated ServingSpeculative DecodingMooncakeEAGLEAttention SinksTTFT / TPOT
💼 典型岗位与薪资
Inference Engineer、ML Systems Engineer、Distributed Serving Engineer
💰 $240K - $510K / 年 (前沿推理与流式系统) | ¥72W - ¥170W / 年
📚 先决掌握技能:Prefill 与 Decode 阶段计算/带宽特征差异 • 投机采样接受率 (Acceptance Rate) 数学证明 • 跨 GPU 节点 KV Cache 高速网络传输 (RDMA) • StreamingLLM 与 Attention Sinks 显存边界