Attention Variants (MHA / MQA / GQA): 解释 MLA（多头潜在注意力）如何压缩 KV Cache。

Core Concept: 把 K/V 投影到低维潜在向量再缓存，推理时上投影回多头；KV cache 降为约 1/10，且质量可超过 MHA。

数学机理：<strong>MLA（Multi-head Latent Attention，DeepSeek-V2）</strong> 的核心是<strong>低秩联合压缩</strong>：不再为每个头单独缓存 K/V，而是把隐状态 h 通过一个降维矩阵 W^{DKV} 投影到一个<strong>低维潜在向量 c^{KV}</strong>（维度远小于 n_kv×d_h），只缓存 c^{KV}；计算注意力时再用上投影矩阵 W^{UK}、W^{UV} 把 c^{KV} 还原成各头的 K、V。<strong>关键优化</strong>——朴素的'缓存 c、每次还原 K/V'并不能省计算；MLA 的巧妙之处在于<strong>矩阵吸收</strong>：把 W^{UK} 吸收进 Q 的投影（Q'=W^Q·W^{UK}）、把 W^{UV} 吸收进输出投影，从而在推理时<strong>无需显式还原 K/V</strong>，直接以 c^{KV} 与'已变换的 Q'做注意力。<strong>收益</strong>——KV cache 从 '2×n_kv×d_h×S' 降到 'd_c×S'（d_c 为潜在维度，如 512，而 2×n_kv×d_h 可能达 2×128×128=32768），压缩比可达 <strong>10 倍以上</strong>；同时因为 c^{KV} 是跨头共享的低维表示，<strong>跨头信息得以共享</strong>，质量可优于 MHA。<strong>与 RoPE 的兼容性</strong>——RoPE 作用在 K 上会破坏矩阵吸收（因为旋转与投影不可交换），故 MLA 采用<strong>解耦 RoPE</strong>：额外为每个头生成一小段带 RoPE 的 K（'decoupled key'），只缓存这部分与 c^{KV}；这是 MLA 实现中的关键细节。

深度剖析与工程权衡：① <strong>'压缩反而更好'的原因</strong>——低秩压缩本身是正则化（限制 KV 的秩），且跨头共享潜在表示使信息利用率更高；DeepSeek-V2 报告 MLA 在同等配置下<strong>优于</strong> MHA（不只是'接近'）。② <strong>与 MQA/GQA 的关系</strong>——MQA/GQA 减少 K/V 的<strong>头数</strong>（结构性），MLA 压缩 K/V 的<strong>维度</strong>（低秩）；MLA 的压缩比更高，且不像 MQA 那样牺牲头间多样性。两者可结合。③ <strong>矩阵吸收的前提</strong>——要求 Q 的投影与 W^{UK} 可合并（线性），故 RoPE 需'解耦'处理；这是实现复杂度的主要来源。④ <strong>训练效率</strong>——MLA 在训练时也减少激活显存（因为 K/V 的中间表示更低维），故对长上下文训练有利。⑤ <strong>部署现状</strong>——DeepSeek-V2/V3、Kimi 等采用 MLA；vLLM 等框架已支持。MLA 与'KV cache 量化'结合可进一步压缩。⑥ <strong>面试要点</strong>——被问'MLA 怎么省 KV'，应给出'<strong>低秩压缩到潜在向量 + 只缓存 c^{KV} + 矩阵吸收避免还原 + 解耦 RoPE</strong>'四步；能说明'压缩后质量可超过 MHA'与'RoPE 兼容性需解耦'是深度理解的标志。