M4-037M4: 序列与 Transformer注意力变体Medium
⚡闪卡盲测➔掌握度:

解释稀疏注意力与滑动窗口注意力

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-038 →
📐 核心数学机理公式
sliding window: Attni=softmax(QiKi−w:i⊤)Vi−w:i;cost=O(Lw)\text{sliding window}:\ \text{Attn}_{i}=\mathrm{softmax}(Q_iK_{i-w:i}^{\top})V_{i-w:i};\qquad \text{cost}=O(Lw)
⚡ 一句话直击要害答案
只让每个 token 关注部分位置(局部窗口 / 固定稀疏模式 / 学习式),把 O(L²) 降到 O(L·w) 或 O(L·k)。

📌 核心要点提炼

  • •
    滑动窗口:每个 token 只看前后 w 个(Mistral/Longformer)
  • •
    固定稀疏模式(strided/dilated)或学习式稀疏(Top-k)
  • •
    局部 + 少量全局 token 的混合可保持全局信息通路

📐 数学机理与严密推导

数学机理:动机——标准注意力复杂度 O(L²d),长序列下不可行;而经验观察显示注意力高度局部化(大部分权重集中在邻近位置)与稀疏(只有少数位置被显著关注)。滑动窗口注意力(SWA)——限制每个 query 只关注最近的 w 个 key:Attn_i=softmax(Q_iK_{i−w:i}ᵀ)V_{i−w:i},复杂度降到 O(L·w·d)(线性于长度)。关键问题——纯局部窗口使信息无法跨越超过 w 的距离;解法有两条:(a) 堆叠扩大感受野——L 层窗口 w 的网络,感受野为 L·w(类似 CNN);(b) 混合全局 token——保留少量'全局 token'(如序列开头、特殊标记)供所有位置关注,或每隔几层插入一层全注意力(层间交替,如 Gemma-2/Mistral 的'SWA + 全注意力交替')。其他稀疏模式:(a) 固定模式(strided/dilated,如 Longformer 的'局部窗口 + 空洞窗口 + 全局');(b) 学习式稀疏(Top-k 注意力,只保留分数最高的 k 个位置);(c) 块稀疏(把序列分块,只算部分块的注意力)。为什么 GPU 上加速有限——稀疏注意力的 FLOPs 虽降低,但 (a) 内存访问不规则(难以利用 GPU 的连续访存与张量核心)、(b) 仍需读取被屏蔽位置的信息(除非有专门的稀疏 kernel)、(c) 负载不均衡(不同 query 的稀疏模式不同)。故朴素稀疏实现常不比稠密快,需专门 kernel(如 FlashAttention 的块稀疏变体)才能兑现加速。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '稀疏 ≠ 快'的教训——这是高效注意力领域的核心工程现实;FLOPs 降低只是必要条件,还需 (a) 规则化稀疏模式(块对齐)、(b) 定制 kernel、(c) 与 Flash Attention 的 IO 优化结合。② 滑动窗口的实用性——SWA 因模式规则(连续窗口)、易于 kernel 实现,是最成功的稀疏方案;Mistral-7B、Gemma-2 等采用'SWA + 全注意力交替',在保持长上下文能力的同时大幅降低计算。③ 与 KV cache 的关系——SWA 使 KV cache 只需保留最近 w 个(环形缓冲),显存从 O(L) 降到 O(w)(常数);这是长上下文推理的重要优势(StreamingLLM 即基于此)。④ '注意力汇聚'的必要性——纯 SWA 若无全局 token,会导致注意力模式退化(模型需一个'垃圾桶'位置);故 SWA 模型常保留初始 token(attention sink)或专门的全局 token。⑤ 学习式稀疏的进展——NSA(Native Sparse Attention)等用可学习的分块选择 + 硬件友好设计,在长上下文上取得接近全注意力的质量与显著加速。⑥ 面试要点——被问'稀疏注意力',应给出'滑动窗口(最实用)+ 全局 token/层间交替(保全局通路)+ 块稀疏(硬件友好)'的分类,并强调'FLOPs 降低不等于加速,需规则模式 + 定制 kernel';这是区分'读过论文'与'做过部署'的关键。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为稀疏注意力一定更快(需规则模式与定制 kernel)
  • ✕
    纯滑动窗口不保留全局 token 导致全局信息通路断裂
🎯 面试官连环追问与延伸考察
  • ?
    滑动窗口为什么需要'全局 token'或'层间交替'?
  • ?
    稀疏注意力为什么在 GPU 上加速有限?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-036: 解释 MLA(多头潜在注意力)如何压缩 KV Cache📋 返回题库下一题 →M4-038: 解释线性注意力与核方法的关系