注意力变体 MHA/MQA/GQA

MHA (Multi-Head Attention) 每个头独立投影 K/V;MQA (Multi-Query Attention) 所有头共享同一组 K/V(即只有 1 个 KV 头);GQA (Grouped-Query Attention) 把 $H$ 个查询头分成 $G$ 组、组内共享 K/V,是两者的折中:LLaMA-2/3 70B 用 8 个 KV 头,LLaMA-2 7B 用 MQA,Mistral/Gemma/Qwen 普遍用 GQA。

推理时 KV cache 显存受限的所有自回归服务场景;2023 年后 GQA 成为大模型事实标准(LLaMA-2/3、Mistral、Gemma、Qwen 全系)。

解码时每个 token 都要缓存全部历史的 K/V,显存随序列线性增长:缓存大小 $= 2 \cdot 2 \cdot L \cdot H \cdot d \cdot s \cdot b$(fp16 每元素 2 字节 × K/V 两份 × 层数 × 头数 × 每头维度 × 序列长 × batch);LLaMA-3 70B 在 $s = 8192$、$b = 32$ 时 MHA 约需 687GB,远超 140GB 权重,换 GQA(8 组)后约 86GB,省约 87%;MQA 省得最多但质量损失略大,通常只用于小模型。

GQA 相比 MHA 省了什么?KV cache 显存公式 $2 \cdot 2 \cdot L \cdot H \cdot d \cdot s \cdot b$ 每项含义?

GQA 组数 G 如何选择?质量与显存的权衡?

MQA 与 GQA 的区别?各自优缺点?

为什么共享 KV 对训练影响小、对推理影响大?(KV cache 只在推理出现)

主流模型分别用什么配置?LLaMA-2/3、Mistral、Qwen 的 KV 头数?