注意力变体 MHA/MQA/GQA

MHA (Multi-Head Attention) 每个头独立投影 K/V;MQA (Multi-Query Attention) 所有头共享同一组 K/V(即只有 1 个 KV 头);GQA (Grouped-Query Attention) 把 $H$ 个查询头分成 $G$ 组、组内共享 K/V,是两者的折中:LLaMA-2/3 70B 用 8 个 KV 头,LLaMA-2 7B 用 MQA,Mistral/Gemma/Qwen 普遍用 GQA。

推理时 KV cache 显存受限的所有自回归服务场景;2023 年后 GQA 成为大模型事实标准(LLaMA-2/3、Mistral、Gemma、Qwen 全系)。

解码时每个 token 都要缓存全部历史的 K/V,显存随序列线性增长:缓存大小 $= 2 \cdot 2 \cdot L \cdot H \cdot d \cdot s \cdot b$(fp16 每元素 2 字节 × K/V 两份 × 层数 × 头数 × 每头维度 × 序列长 × batch);LLaMA-3 70B 在 $s = 8192$、$b = 32$ 时 MHA 约需 687GB,远超 140GB 权重,换 GQA(8 组)后约 86GB,省约 87%;MQA 省得最多但质量损失略大,通常只用于小模型。

检验攻克程度：针对「注意力变体 MHA/MQA/GQA」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。