Long Context Extensions & Scaling: 解释长上下文的注意力模式经验规律（sink + 局部窗口）。

Core Concept: 长上下文模型的注意力呈'双峰'：大量权重给序列开头的 sink、其余集中在局部窗口，中间位置权重低。

数学机理：<strong>经验规律</strong>——对长上下文模型的注意力权重做统计，会发现一个稳定的<strong>双峰结构</strong>：(a) <strong>sink 峰</strong>——大量权重集中在序列<strong>开头</strong>的少数 token（尤其第一个 token）；(b) <strong>局部峰</strong>——其余权重集中在<strong>当前 token 附近的窗口</strong>（如前后几十到几百个 token）；(c) <strong>中间区域的权重接近 0</strong>——即序列中间的大部分位置几乎不被关注（可称为'注意力死区'）。<strong>成因</strong>——(a) sink 源于 softmax 的归一化需求（需要一个'垃圾桶'，见 attention sink 题）；(b) 局部峰源于语言的局部依赖先验 + RoPE 的远距离衰减；(c) 中间位置既不是 sink、也不在局部窗口，故被忽略。<strong>对 KV 压缩的启示</strong>——既然中间位置的 KV 贡献极小，则<strong>可以丢弃它们</strong>：H2O 只保留注意力累计权重最高的少数 token、StreamingLLM 只保留 sink + 最近窗口；这使 KV 显存从 O(L) 降到 O(k)（常数）。<strong>对长上下文能力的影响（坏消息）</strong>——双峰模式意味着模型<strong>天然倾向于忽略中间信息</strong>，这正是 <strong>lost in the middle</strong> 的机制；即使模型'支持'128k 上下文，实际'利用'的可能只有开头（sink）+ 结尾（局部窗口）。故'名义上下文长度'与'有效上下文长度'存在系统性差距。<strong>改进方向</strong>——(a) 训练时用'需要中间信息'的任务（合成数据）迫使模型关注中间；(b) 架构上抑制 sink（差分注意力、sink logit）；(c) 推理时重排位置（把关键信息放首尾）。

深度剖析与工程权衡：① <strong>'双峰'是注意力机制的结构性偏向</strong>——它不依赖于具体任务，而是 softmax 归一化 + 位置编码衰减 + 语言局部性先验的<strong>共同产物</strong>；理解这一点能统一解释 sink、lost-in-the-middle、以及 KV 压缩的有效性。② <strong>KV 压缩的理论依据</strong>——双峰模式为'丢弃中间 KV'提供了实证支持；但需注意：丢弃后模型无法再'回头检索'被丢的内容，故对'需要精确检索中间信息'的任务有风险。H2O 的'重击 token'假说认为少数 token 累积了大部分注意力，保留它们即可。③ <strong>与'注意力熵'的关系</strong>——双峰模式对应'注意力熵较低但非崩塌'（权重集中在两处而非一处）；若熵进一步下降（崩塌），则连局部窗口都可能丢失。④ <strong>对 RAG 的启示</strong>——既然中间位置易被忽略，则'多文档输入'应<strong>按相关性排序并把最相关的放首尾</strong>（位置重排）；这比'塞更多文档'更有效。⑤ <strong>评测设计</strong>——评估长上下文必须包含'中间位置'的检索（单针 NIAH 若只在首尾放针会高估）；RULER 的多任务设计正为此。⑥ <strong>面试要点</strong>——被问'长上下文模型的注意力长什么样'，应给出'<strong>双峰（sink + 局部窗口）+ 中间死区</strong>'的经验规律，并推导出'KV 压缩可行'与'lost-in-the-middle 的结构性原因'；这是'把观察与工程决策连起来'的高分回答。