Positional Embeddings (Sinusoidal, RoPE, ALiBi): 比较绝对位置编码、相对位置编码与 RoPE/ALiBi。

Core Concept: 绝对编码加到输入、位置固定；相对编码建模位置差；RoPE 用旋转实现相对位置；ALiBi 用线性衰减偏置，外推性最好。

数学机理：四类方案的设计维度是'位置信息的表示形式'与'相对/绝对性质'。<strong>(1) 绝对位置编码（正弦或可学习）</strong>——把位置向量<strong>加到输入 embedding</strong> 上。优点：实现最简单。缺点：(a) 只在第一层显式可见；(b) 可学习版本受训练长度硬约束；(c) 不显式建模相对位置。<strong>(2) 相对位置编码</strong>——直接对位置差建模：在注意力 logits 上加一个偏置 bias_{ij}=f(i−j)（T5 用'相对位置桶'把距离离散化后查表；Transformer-XL 用正弦函数构造）。优点：显式相对结构、外推较好。缺点：需构造 L×L 的偏置矩阵（内存 O(L²)）、桶的划分需设计。<strong>(3) RoPE</strong>——用<strong>旋转</strong>实现相对位置（内积只依赖 s−p），无额外参数、无 O(L²) 偏置矩阵、对 KV cache 友好。<strong>(4) ALiBi（Attention with Linear Biases，Press 等 2021）</strong>——<strong>不加任何位置编码</strong>，而是在注意力 logits 上直接加一个<strong>线性衰减偏置</strong>：bias_{ij}=−m_h·(i−j)，其中 m_h 是每个头固定的斜率（几何序列，如 1/2, 1/4, ...）。<strong>为什么 ALiBi 外推最好</strong>——(a) 偏置是位置的<strong>线性函数</strong>，对任意距离都有定义且行为一致（不像正弦编码的相位在远距离变得不可区分）；(b) 不同头有不同的衰减斜率，使模型可同时表达'局部关注'与'全局关注'；(c) 零参数、无外推依赖。实证上 ALiBi 在训练长度之外的表现显著优于正弦编码（Press 等报告在 1k 训练、可外推到 2k+）。<strong>现状</strong>——RoPE 因'相对位置 + 无参数 + 与 KV cache 兼容 + 可外推扩展（NTK/YaRN）'的综合优势成为主流；ALiBi 在需要极致外推且不需位置区分的场景仍有使用。

深度剖析与工程权衡：① <strong>'加性 vs 乘性/旋转'的关键差异</strong>——绝对编码是<strong>加</strong>到输入（影响所有后续计算但只在入口），RoPE 是<strong>旋转</strong> Q/K（每层都影响注意力）；后者的位置信息'更贴近注意力计算'，这是效果差异的根源。② <strong>外推性的三层对比</strong>——正弦绝对编码 < 可学习绝对编码 ≈ RoPE（无干预） < ALiBi ≈ RoPE + 插值/YaRN。这说明'外推'是设计目标而非副产品。③ <strong>与 KV cache 的工程兼容性</strong>——RoPE 最友好（K 已旋转，直接缓存）；ALiBi 也友好（偏置在 logits 上动态加）；相对位置桶需额外存储偏置。④ <strong>多模态的适配</strong>——RoPE 的 2D/3D 扩展（M-RoPE）在 VLM/视频中成为主流；ALiBi 的 1D 线性衰减不易扩展到多维。⑤ <strong>组合方案</strong>——实践中有'RoPE + 局部窗口 + attention sink'的组合（如某些长上下文模型），说明位置编码与注意力模式是联合设计的。⑥ <strong>面试要点</strong>——被问'位置编码怎么选'，应按'<strong>表示形式（加性/旋转/偏置）+ 相对性 + 外推性 + 工程兼容性</strong>'四维对比，并给出'现代主流是 RoPE（+ 外推技术）'的结论；能解释'ALiBi 为何外推强'（线性函数对任意距离行为一致）是加分。