Attention Variants (MHA / MQA / GQA): 解释差分注意力（Differential Attention）的动机。

Core Concept: 用两组注意力相减，抵消'注意力噪声/汇聚'，使模型能聚焦信号；DIFF Transformer 用此提升长上下文与抗干扰。

数学机理：<strong>动机</strong>——softmax 注意力存在系统性的'噪声'：大量注意力被分配到<strong>无关位置</strong>（尤其序列开头的 token，形成 <strong>attention sink</strong>），真正的信号位置（少数相关 token）的权重被稀释。经验上，注意力图呈现出'一个强汇聚 + 大量小权重散布'的模式，后者可视为<strong>共模噪声</strong>（对多数 query 都出现）。<strong>差分注意力（DIFF Transformer，Ye 等 2024）</strong> 的做法：把 Q、K 各分成两组（Q₁/K₁ 与 Q₂/K₂），分别计算两个注意力图，然后<strong>相减</strong>：DiffAttn=(softmax(Q₁K₁ᵀ/√d)−λ·softmax(Q₂K₂ᵀ/√d))V。<strong>为什么有效</strong>——如果'噪声'（如汇聚、无关位置的均匀权重）在两组注意力中<strong>相似</strong>（共模），则相减会<strong>抵消</strong>它；而'信号'（真正相关的位置）在两组中不同，故被保留。这与信号处理中的<strong>差分放大/共模抑制</strong>完全同构（差分对抵消共模干扰）。λ 是可学习的标量，控制抵消强度。<strong>效果</strong>——论文报告 DIFF Transformer 在 (a) <strong>长上下文</strong>（needle-in-a-haystack 更准）、(b) <strong>抗干扰</strong>（在无关上下文中保持性能）、(c) <strong>缓解幻觉</strong>、(d) <strong>激活异常值</strong>（outlier）减少 等方面有改善；且额外开销小（Q/K 分组不增参数）。

深度剖析与工程权衡：① <strong>与 attention sink 的关系</strong>——差分注意力直接针对 sink 现象设计；相比'显式保留 sink token'（StreamingLLM）或'加 sink logit'（gpt-oss），它从'减法'角度消除 sink 的影响，思路不同但目标一致。② <strong>激活异常值（outlier）的缓解</strong>——论文报告差分注意力减少了激活中的极端离群值，这对<strong>量化</strong>有利（离群值是量化误差的主因，见 M3 的量化题）；故它与量化推理形成协同。③ <strong>与多头的关系</strong>——差分注意力是把'头'分成两组做差分，而不是简单相加；这改变了'多头信息融合'的方式（从 concat 变为差分）。可与多头共存（每个头内部再做差分）。④ <strong>开销与实现</strong>——额外的注意力计算（两组）使计算量约翻倍（但可共享部分投影）；实践中通过减少头数或维度补偿。⑤ <strong>理论解释的完善度</strong>——'共模抑制'的直觉清晰，但严格的理论分析仍有限；效果在不同规模/任务上的一致性需更多验证。⑥ <strong>面试要点</strong>——被问'差分注意力'，应给出'<strong>把 Q/K 分两组、注意力相减、抵消共模噪声（sink）</strong>'的核心，并联系到'信号处理的差分放大'与'缓解激活离群值 → 有利量化'；这是'前沿架构'类问题的加分回答。