Quantization & Acceleration: 解释 KV Cache 量化的收益与风险。

Core Concept: KV cache 是长上下文显存大头；量化到 INT8/INT4 可省 2~4 倍，但 KV 动态且离群方向不同（K per-channel、V per-token）。

数学机理：<strong>收益</strong>——KV cache 的显存 ∝2×层数×n_kv×d_h×S×batch；长上下文 + 大 batch 时它是显存主导（可能超过权重）。量化到 INT8 省 2 倍、INT4 省 4 倍，直接 (a) <strong>支持更长上下文</strong>（同显存下 S 增 2~4 倍）、(b) <strong>支持更大 batch</strong>（提升吞吐）。<strong>风险/难点</strong>——(1) <strong>KV 是动态的</strong>——每步新增 token 的 K/V，其分布随输入变化；故不能像权重那样离线校准（需动态量化或在线统计）。(2) <strong>离群值</strong>——KV 中存在极端值（与 attention sink 等结构相关）；per-tensor 量化会因离群值撑大范围而损失精度。(3) <strong>量化误差影响注意力</strong>——KV 的误差直接进入注意力分数（K）与加权和（V），故对输出影响直接。<strong>关键洞察（KIVI）</strong>——<strong>K 与 V 的离群方向不同</strong>：(a) <strong>K（key）</strong>——某些<strong>通道（channel）</strong> 的值持续偏大（跨 token 一致），故应按 <strong>per-channel</strong> 量化（每个通道一组 scale）；(b) <strong>V（value）</strong>——某些<strong>token</strong> 的值偏大（同 token 内跨通道），故应按 <strong>per-token</strong> 量化。这一'方向性'是 KV 量化的核心技巧。<strong>其他方法</strong>——(a) <strong>分组量化</strong>（如每 128 元素一组）；(b) <strong>分层量化</strong>（不同层用不同精度）；(c) <strong>混合精度</strong>（保留部分 KV 高精度，如'重击 token'用 FP16）；(d) <strong>量化 + 淘汰</strong>（结合 H2O 等 token 淘汰）。<strong>实测</strong>——INT8 KV 量化通常几乎无损（<0.5% 掉点）；INT4 需谨慎（有掉点，尤其长上下文检索任务）。

深度剖析与工程权衡：① <strong>'方向性'是 KV 量化的独特之处</strong>——与权重量化（单一方向）不同，KV 的 K 与 V 需要<strong>不同方向的量化粒度</strong>；这是 KIVI 等工作的核心贡献，也是面试中的高频考点。② <strong>动态量化的开销</strong>——per-token 量化需在每步计算该 token 的 scale（一次归约），有少量开销；但相比显存节省是值得的。③ <strong>与长上下文任务的关系</strong>——KV 量化对'需要精确检索'的任务（NIAH）影响更大（因为 K 的误差影响注意力权重的精确性）；故评测需包含这类任务（不能只看 PPL）。④ <strong>与 GQA/MLA 的组合</strong>——GQA/MLA 减少 KV 的'元素数'、量化减少'每元素字节'；两者正交、可叠加（如 MLA + INT8 KV）。⑤ <strong>与'KV 淘汰'的关系</strong>——淘汰（丢弃不重要 token）与量化（降低精度）是两种不同的压缩方式；前者有'信息丢失不可恢复'的风险，后者是'精度损失'；可组合（保留重要 KV 高精度、其余低精度）。⑥ <strong>面试要点</strong>——被问'KV cache 量化'，应给出'<strong>收益（显存省 2~4 倍 → 长上下文/大 batch）+ 难点（动态 + 离群值）+ 关键技巧（K per-channel、V per-token）</strong>'，并说明'INT8 基本无损、INT4 需谨慎'；能指出'与 GQA/MLA 正交可叠加'是深度理解的标志。