Attention Variants (MHA / MQA / GQA): 解释注意力汇聚（attention sink）现象。

Core Concept: 大量注意力集中到序列开头的少数 token（尤其首 token），即使它们语义无关；因 softmax 需'归一化出口'。

数学机理：<strong>现象</strong>——在预训练好的 LLM 中，大量注意力（有时超过 50%）集中在<strong>序列开头的少数 token</strong>（尤其第一个 token），即使这些 token 语义上无关（如 BOS、句号）。<strong>原因</strong>——关键在于 <strong>softmax 的归一化约束</strong>：Σ_j α_{ij}=1，即每个 query 必须把'注意力质量'全部分配出去。对许多 query 而言，<strong>没有特别相关的 key</strong>（例如处理一个常见的功能词时），但 softmax 不允许'不关注任何位置'（权重不能全为 0，除非加 mask）。此时模型学到的解法是：把多余的质量<strong>倾倒</strong>到一个固定的'垃圾桶'位置（通常是序列开头，因为它在 causal mask 下对所有位置都可见）——这就是 <strong>attention sink</strong>。它还可解释为'模型需要一个 no-op 的默认行为'：当无需关注具体内容时，关注 sink 相当于'什么都不做'。<strong>StreamingLLM 的关键发现</strong>——如果从 KV cache 中<strong>丢弃</strong> sink token，模型性能<strong>崩溃</strong>（困惑度爆炸）；而<strong>保留少量初始 token（作为 sink）+ 最近的滑动窗口</strong>，就能让模型稳定处理<strong>无限长</strong>的流式输入，且无需微调。这是'利用 sink 做高效长上下文推理'的经典工作。

深度剖析与工程权衡：① <strong>sink 与'softmax 的必要性'</strong>——有研究（如 gpt-oss）在注意力 logits 中<strong>显式加一个可学习的 sink logit</strong>，使'不关注任何位置'成为合法选项，从而让模型不再需要借用真实 token 当垃圾桶；这是'从架构上解决 sink'的思路。② <strong>与位置编码的交互</strong>——sink 通常在序列开头，与 RoPE 的'远距离衰减'共同塑造了注意力模式（'近处局部 + 远处 sink'）；这被称为注意力分布的<strong>双峰结构</strong>。③ <strong>与 KV cache 压缩的关系</strong>——因为大部分注意力在 sink 与局部窗口，<strong>中间位置的 KV 贡献很小</strong>，故可激进压缩（如 H2O 只保留'重击 token'、StreamingLLM 只留 sink + 窗口）；这是长上下文 KV 压缩的理论依据。④ <strong>与'lost in the middle'的联系</strong>——中间位置既不在局部窗口、也不是 sink，故最易被忽略；这解释了'长文档中间信息难被检索'的现象。⑤ <strong>差分注意力的对照</strong>——差分注意力用相减抵消 sink；gpt-oss 用 sink logit；StreamingLLM 保留 sink——三种思路说明 sink 是'必须处理的结构性现象'。⑥ <strong>面试要点</strong>——被问'attention sink 是什么'，应给出'<strong>softmax 必须分配权重 → 需要一个垃圾桶位置 → 序列开头成为默认 sink</strong>'的机制解释，并举出 StreamingLLM 的'保留 sink + 滑窗'应用；能联系到'KV 压缩'与'lost in the middle'是深度理解的标志。