MLA 低秩 KV 压缩

MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 $c_t^{KV} \in \mathbb{R}^{d_c}$(DeepSeek-V2 取 $d_c = 512$),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 $k_t^R$)。

DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大厂长上下文部署的对标方案,面试必问"MLA 为什么省显存"。

GQA 只是共享 KV 头,每个 token 仍要缓存 $2 H d$ 个值;MLA 把每 token 缓存压到 $d_c$,$d_c = 512 \ll 2 H d$,DeepSeek-V2 对比同规模 GQA 版本,缓存从约 41.5GB 降到约 5.1GB(降约 80%+);训练时 Prefill 阶段从 $c_t^{KV}$ 重算 K/V,还省下大量激活显存。

检验攻克程度：针对「MLA 低秩 KV 压缩」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。