M4-035M4: 序列与 Transformer注意力变体Easy
⚡闪卡盲测➔掌握度:

解释 MQA 与 GQA,以及它们如何降低 KV Cache

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-036 →
📐 核心数学机理公式
MHA:h KV heads;GQA:g KV heads;MQA:1 KV head;KV∝nkv\text{MHA}: h\ \text{KV heads};\quad \text{GQA}: g\ \text{KV heads};\quad \text{MQA}: 1\ \text{KV head};\qquad \text{KV}\propto n_{\text{kv}}
⚡ 一句话直击要害答案
MQA 让所有头共享一组 K/V;GQA 把头分组、组内共享。KV cache 显存与带宽降为 1/h 或 1/g。

📌 核心要点提炼

  • •
    KV cache 显存 ∝ K/V 头数(MHA 为 h,MQA 为 1,GQA 为 g)
  • •
    Q 头数不变(保持表达力),只减 K/V 头数
  • •
    decode 阶段是 memory-bound,故减 KV 直接提速

📐 数学机理与严密推导

数学机理:KV cache 的显存 = 2(K 与 V)× 层数 L × KV 头数 n_kv × head_dim d_h × 序列长度 S × 精度字节。MHA 下 n_kv=h(如 32),故 KV cache ∝ h。MQA(Multi-Query Attention,Shazeer 2019) 让所有 Q 头共享同一组 K/V(n_kv=1),KV cache 显存与读取带宽降为 1/h;GQA(Grouped-Query Attention,Ainslie 等 2023) 折中:把 h 个 Q 头分成 g 组,每组共享一组 K/V(n_kv=g,通常 g=h/8 或 h/4)。为什么可行——注意力的表达力主要来自 Q 的多样性(不同的 query 投影产生不同的注意力模式);K/V 的作用是'被查询的内容',其冗余度较高。故减少 K/V 头数(而非 Q 头数)能在大幅节省显存/带宽的同时保留大部分表达力。为什么在推理中收益巨大——decode 阶段每步只生成 1 个 token,但需读取整个 KV cache(∝S×n_kv);故 decode 是memory-bound(算术强度低、受显存带宽限制)。降低 n_kv 直接减少每步的数据搬运量,从而提升吞吐。实证:MQA 可带来 2~5 倍的 decode 吞吐提升;GQA 在质量上接近 MHA、速度接近 MQA,是当前主流(LLaMA-2/3、Mistral 等均用 GQA)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① MQA 的质量损失与恢复——MQA 因 K/V 表达力受限,训练不稳、质量略降;uptraining(从 MHA 检查点出发,把 K/V 投影平均后继续少量训练)可快速恢复质量,成本远低于从头训练。这是'改架构 + 少量训练'的经典工程手法。② GQA 的分组数选择——g 越大质量越好但显存/带宽越高;实践中 g 常取 8(h=32 时每 4 个 Q 头共享一组 KV),在质量与效率间取得良好平衡。③ 与 MLA 的对比——MQA/GQA 通过'减少头数'省 KV;MLA(多头潜在注意力) 通过'低秩压缩 KV 的维度'省 KV(见下一题);两者可组合(DeepSeek-V2 用 MLA)。④ 训练侧的影响——减少 K/V 头数也减少了 K/V 投影的参数与计算,但训练阶段是 compute-bound,故收益不如推理明显;主要动机是'让训练出的模型推理友好'。⑤ 与 KV cache 量化的关系——MQA/GQA 减少 KV 的'元素数',量化减少 KV 的'每元素位数';两者正交、可叠加。⑥ 面试要点——被问'MQA/GQA',应给出'KV cache ∝ n_kv → 减少 K/V 头数 → decode 是 memory-bound 故直接提速'的因果链,并说明'保留 Q 头数、只减 K/V 头数'是关键;能提到 uptraining 与 GQA 的主流地位是加分。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 MQA 同时减少了 Q 头数(Q 头数不变)
  • ✕
    忽略 decode 阶段的 memory-bound 特性
🎯 面试官连环追问与延伸考察
  • ?
    为什么减 K/V 头数不显著损害质量?
  • ?
    GQA 的分组数 g 如何选?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-034: 解释位置编码与长度外推的评测方法📋 返回题库下一题 →M4-036: 解释 MLA(多头潜在注意力)如何压缩 KV Cache