KV 缓存优化

KV Cache 优化 = 压缩自回归推理中逐层缓存的 K/V 张量,破解长上下文与大批次的显存瓶颈。显存公式: $2 \times 2 \times L \times H \times d \times s \times b$ 字节(每 token 的 K、V 两张 × FP16 的 2 字节 × 层数 × 头数 × 头维 × 序列长 × 批大小)。四条主线: ① 结构压缩 —— GQA 让多个 Q 头共享一组 KV 头(如 64 → 8,显存 /8);MLA(DeepSeek-V2)把每层的 K/V 压缩成低秩潜在向量 $c_t^{KV} = W^{DKV} h_t$,推理时 $W^{UK}$ 的投影被吸收进 $W^Q$ 与输出投影,只缓存潜在向量——对照 MHA 的 86GB,KV 显存降到 5.1GB(降 93.3%);② KV 量化 —— K/V 用 INT8/FP8 存储,显存减半且精度损失小;③ StreamingLLM —— 保留“attention sink”(前 4 个 token)+ 滑动窗口,长会话显存从 $O(s)$ 降为 $O(窗口)$;④ H2O 稀疏 —— 按累计注意力分数只保留 heavy-hitter token,动态替换。

长上下文(32K/128K)在线推理、多轮对话服务、PD 分离的 decode 侧;面试高频“KV Cache 显存公式”“GQA 与 MHA 区别”“MLA 如何省显存”“长对话显存爆炸怎么办”。

大批次 + 长序列下 KV 显存增速远超权重(每 token 新增 $2 \times 2 \times L \times H \times d$ 字节),直接限制并发与上下文长度。GQA/MLA 从结构上减一个数量级(MLA 86GB → 5.1GB),KV 量化再减半,StreamingLLM/H2O 把显存变成与窗口相关而非全长——多种手段叠加后,同卡可服务数倍的并发连接与更长的上下文。

检验攻克程度：针对「KV 缓存优化」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。