⚡ 大语言模型ID: mla-attention

MLA 低秩 KV 压缩

Q: MLA 如何压缩 KV?$c_t^{KV}$ 的维度与还原过程?

【MLA 低秩 KV 压缩 核心考点 1】MLA 如何压缩 KV?$c_t^{KV}$ 的维度与还原过程?。技术解析：定义: MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 c_t^{KV} \in \mathbb{R}^{d_c}(DeepSeek-V2 取 d_c = 512),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 k_t^R)。 使用场景: DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/mla-attention

Q: MLA 为什么需要解耦 RoPE?$k_t^R$ 的作用是什么?

【MLA 低秩 KV 压缩 核心考点 2】MLA 为什么需要解耦 RoPE?$k_t^R$ 的作用是什么?。技术解析：定义: MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 c_t^{KV} \in \mathbb{R}^{d_c}(DeepSeek-V2 取 d_c = 512),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 k_t^R)。 使用场景: DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/mla-attention

Q: MLA 相比 GQA 显存省多少?给出具体数字(41.5GB → 5.1GB 的对比)

【MLA 低秩 KV 压缩 核心考点 3】MLA 相比 GQA 显存省多少?给出具体数字(41.5GB → 5.1GB 的对比)。技术解析：定义: MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 c_t^{KV} \in \mathbb{R}^{d_c}(DeepSeek-V2 取 d_c = 512),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 k_t^R)。 使用场景: DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/mla-attention

Q: 训练时 MLA 如何减少激活显存?(Prefill 阶段重算 K/V)

【MLA 低秩 KV 压缩 核心考点 4】训练时 MLA 如何减少激活显存?(Prefill 阶段重算 K/V)。技术解析：定义: MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 c_t^{KV} \in \mathbb{R}^{d_c}(DeepSeek-V2 取 d_c = 512),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 k_t^R)。 使用场景: DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/mla-attention

Q: MLA 与 MQA/GQA 的本质区别?(共享 vs 低秩投影)

【MLA 低秩 KV 压缩 核心考点 5】MLA 与 MQA/GQA 的本质区别?(共享 vs 低秩投影)。技术解析：定义: MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量 c_t^{KV} \in \mathbb{R}^{d_c}(DeepSeek-V2 取 d_c = 512),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的 k_t^R)。 使用场景: DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/mla-attention

Multi-head Latent Attention

🎯核心定义

MLA (Multi-head Latent Attention, 多头潜在注意力) 是 DeepSeek-V2 引入的低秩 KV 压缩方案:先把整层 K/V 压缩成低维潜向量

c_t^{KV} \in \mathbb{R}^{d_c}

(DeepSeek-V2 取

d_c = 512

),注意力计算时再上投影还原出每头的 K/V;为兼容 RoPE,额外保留一份只携带位置信息的小尺寸旋转 K(即解耦 RoPE 的

k_t^R

)。

💡使用场景

DeepSeek-V2/V3/R1 全系列标配,长上下文与大 batch 推理收益最大;2026 年已成为大厂长上下文部署的对标方案,面试必问"MLA 为什么省显存"。

⚡解决的核心痛点

GQA 只是共享 KV 头,每个 token 仍要缓存

2 H d

个值;MLA 把每 token 缓存压到

d_c

d_c = 512 \ll 2 H d

,DeepSeek-V2 对比同规模 GQA 版本,缓存从约 41.5GB 降到约 5.1GB(降约 80%+);训练时 Prefill 阶段从

c_t^{KV}

重算 K/V,还省下大量激活显存。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【MLA 低秩 KV 压缩】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【MLA 低秩 KV 压缩】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

MLA 如何压缩 KV?

c_t^{KV}

的维度与还原过程?

MLA 为什么需要解耦 RoPE?

k_t^R

的作用是什么?

MLA 相比 GQA 显存省多少?给出具体数字(41.5GB → 5.1GB 的对比)

训练时 MLA 如何减少激活显存?(Prefill 阶段重算 K/V)

MLA 与 MQA/GQA 的本质区别?(共享 vs 低秩投影)

📖 关联深度指南:📄 transformer-architecture →

更新于 2026-08-12

🎯

检验攻克程度：针对「MLA 低秩 KV 压缩」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点注意力变体 MHA/MQA/GQA 下一个知识点 →SSM/线性注意力混合

MLA 低秩 KV 压缩

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片