Attention Variants (MHA / MQA / GQA): 解释 Native Sparse Attention（NSA）的设计。

Core Concept: 用可学习/硬件对齐的分块稀疏注意力（压缩 + 选择 + 滑动窗口三支路），在长上下文上兼顾质量与加速。

数学机理：<strong>动机</strong>——长上下文下注意力 O(L²) 不可行；但已有稀疏方案（滑动窗口、线性注意力）要么丢失长程信息、要么质量下降，且<strong>朴素稀疏在 GPU 上不加速</strong>（访存不规则）。<strong>NSA（Native Sparse Attention，DeepSeek 2025）</strong> 的设计要点：<strong>(1) 块对齐稀疏</strong>——把序列按固定大小的块（如 64/128）划分，稀疏性以'块'为粒度（选或不选整块），保证访存<strong>连续规则</strong>、可利用 GPU 的高带宽连续读取与张量核心。<strong>(2) 三分支结构</strong>——(a) <strong>压缩支路</strong>：对每个块做池化/压缩得到粗粒度表示，用于快速捕获全局概览；(b) <strong>选择支路</strong>：用压缩表示计算块级重要性分数，选 <strong>Top-n</strong> 个块做<strong>细粒度</strong>注意力（可学习的选择，替代固定模式）；(c) <strong>滑动窗口支路</strong>：保留局部窗口保证近距离建模。三支路的输出加权融合。<strong>(3) 端到端可训练</strong>——选择由学习得到（而非固定模式），故能适应任务与数据。<strong>效果</strong>——论文报告在长上下文任务上质量接近（甚至优于）全注意力，同时在解码时取得显著加速（因为只读取被选中的块，减少 KV 访存量）。<strong>关键洞察</strong>——'稀疏'要真正加速，必须同时满足：<strong>块对齐（访存规则）+ 学习式选择（质量）+ 与 kernel 协同（IO 优化）</strong>。

深度剖析与工程权衡：① <strong>'块对齐'是硬件约束的产物</strong>——GPU 的内存事务以固定大小为单位（如 32B/128B）；任意稀疏会导致大量无效访存（读了整块只用几个元素），故稀疏必须'块级'才能兑现加速。这是'算法设计必须考虑硬件'的典型案例。② <strong>与 FlashAttention 的结合</strong>——NSA 的稀疏读取需与 Flash 式分块 kernel 结合（按选中的块加载 K/V 分块、在线 softmax 累积）；这是实现难度的主要来源。③ <strong>与'训练时稀疏'的关系</strong>——NSA 在<strong>预训练阶段</strong>就使用稀疏注意力（'native'），而非事后近似；这使模型能适应稀疏模式（避免'训练稠密、推理稀疏'的分布不匹配）。④ <strong>与 MoE 的类比</strong>——两者都是'用可学习的稀疏选择替代稠密计算'，且都需要'负载均衡/规则化'以保证硬件效率；理解这一共性有助于把握'稀疏化'这一大方向。⑤ <strong>与 KV cache 压缩的关系</strong>——NSA 的选择支路本质上在做'KV 的子集选择'，与 H2O/StreamingLLM 的'保留重要 KV'目标一致，但 NSA 是端到端训练的选择、更精细。⑥ <strong>面试要点</strong>——被问'长上下文如何加速'，应给出'<strong>滑动窗口（局部）+ 压缩/选择（全局稀疏，块对齐）+ 定制 kernel</strong>'的组合，并强调'<strong>稀疏必须块对齐才真正加速</strong>'与'<strong>训练时就稀疏（native）优于事后近似</strong>'；能类比 MoE 是深度理解的标志。