KV Cache & Inference Optimizations: 如何降低 KV Cache 显存？列出主要方法。

Core Concept: 减少元素数（GQA/MQA/MLA、稀疏/窗口）与减少每元素位数（KV 量化），以及跨请求共享（前缀缓存）与分层策略。

数学机理：从 KV cache 的公式 KV=2×层数×n_kv×d_h×S×batch×精度字节 出发，可系统地列出四类压缩手段。<strong>(1) 减少元素数（结构性）</strong>——(a) <strong>MQA/GQA</strong>：减少 K/V 头数（n_kv 从 h 降到 g 或 1），压缩 4~32 倍；(b) <strong>MLA</strong>：把 K/V 低秩压缩到潜在向量，压缩可达 10 倍以上；(c) <strong>滑动窗口/稀疏注意力</strong>：只保留最近 w 个 KV（显存从 O(S) 降到 O(w)），是长上下文流式推理的关键（StreamingLLM）。<strong>(2) 减少每元素位数（量化）</strong>——KV cache 量化到 FP8/INT8/INT4；难点是 KV 中的<strong>离群值</strong>（少数通道/位置的数值极大）导致 per-tensor 量化误差大，故需 <strong>per-channel/per-token 量化</strong>（如 KIVI 用 per-channel 量化 K、per-token 量化 V）。<strong>(3) 跨请求共享</strong>——<strong>前缀缓存</strong>（相同前缀复用 KV）、<strong>PagedAttention 的块共享</strong>（引用计数），使相同内容的 KV 只存一份。<strong>(4) 跨层/跨 token 的动态策略</strong>——(a) <strong>分层 KV</strong>（不同层用不同精度/是否保留，因为浅层可能更重要）；(b) <strong>token 淘汰</strong>（H2O 的'重击 token'假说：只保留注意力权重累计最高的少数 token，其余丢弃）；(c) <strong>量化 + 淘汰组合</strong>。<strong>注意各手段可叠加</strong>：GQA + KV 量化 + 前缀缓存 + 滑窗，可实现数十倍的显存降低。

深度剖析与工程权衡：① <strong>优先级的实践建议</strong>——(a) <strong>训练时用 GQA/MLA</strong>（免费获得推理收益，因为架构决定了 KV 头数/维度）；(b) <strong>部署时开前缀缓存</strong>（对有共享前缀的负载零成本高收益）；(c) <strong>再考虑 KV 量化</strong>（需验证质量，收益 ∝ 压缩比）；(d) <strong>最后考虑 token 淘汰</strong>（有质量风险，适合极长上下文）。② <strong>KV 量化难在哪</strong>——权重是静态的（可离线校准），而 KV 是<strong>动态的</strong>（每步新增、分布随输入变化）；且 K 的分布按通道有离群值、V 的分布按 token 有离群值，故需<strong>方向不同的量化粒度</strong>（K per-channel、V per-token）——这是 KIVI 等工作的核心洞察。③ <strong>与'长上下文'的关系</strong>——长上下文的显存瓶颈正是 KV cache（∝S）；故上述手段是'长上下文能否落地'的关键。④ <strong>与'吞吐'的关系</strong>——KV 显存决定'能同时跑多少请求'（batch 大小），故压缩 KV 直接提升吞吐。⑤ <strong>质量风险的评估</strong>——不同手段的质量损失差异大：GQA（几乎无损）、MLA（可能更好）、前缀缓存（无损）、KV 量化（INT8 基本无损、INT4 需验证）、token 淘汰（有损，需按任务评估）。⑥ <strong>面试要点</strong>——被问'KV cache 太大怎么办'，应给出<strong>四类系统性方案（减元素数 / 减位数 / 跨请求共享 / 动态策略）</strong>并说明各自的质量风险与优先级；能指出'KV 量化需 per-channel + per-token 不同粒度'是深度理解的标志。