Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释正弦位置编码为什么能外推到更长序列。

Core Concept: 用不同频率的正弦/余弦对编码位置，任意位置都有定义且相对位移可表示为线性变换，故理论上可外推。

数学机理：<strong>正弦位置编码（Vaswani 等 2017）</strong> 用不同频率的正弦/余弦函数为每个位置 p 和维度对 (2i, 2i+1) 赋值：PE(p,2i)=sin(p/ω_i)、PE(p,2i+1)=cos(p/ω_i)，其中频率 ω_i=10000^{2i/d} 从高频（小 i）到低频（大 i）呈几何分布。<strong>三个性质</strong>：<strong>(1) 无参数、全域定义</strong>——任意位置 p（包括训练时未见过的更远位置）都有确定的编码值，这与'可学习位置编码'（受限于最大训练长度、超出则无定义）不同。<strong>(2) 相对位移的线性表示</strong>——利用三角恒等式，PE(p+Δ) 可表示为 PE(p) 的一个<strong>线性变换</strong>（旋转矩阵）：存在与 p 无关的矩阵 M_Δ 使 PE(p+Δ)=M_Δ·PE(p)。这意味着'相对位置 Δ'在编码空间中对应于固定的线性操作，理论上模型可学会利用相对位置信息（这也是它被认为能外推的原因）。<strong>(3) 多尺度频率</strong>——高频维度编码局部位置、低频维度编码全局位置，形成类似'二进制/傅里叶'的多尺度表示。<strong>为什么实践中外推仍不佳</strong>——(a) 模型在训练中主要见到训练长度范围内的位置模式，超出范围后<strong>注意力分布</strong>会进入未训练过的区域（编码值本身有定义，但模型未学过如何解读）；(b) 低频维度的变化在长距离上极缓慢，使远距离位置的编码近乎相同、难以区分；(c) 训练时的'位置使用习惯'（如局部偏置）未外推。故正弦编码的'可外推'是理论性质，实践中仍需位置插值/外推技巧。

深度剖析与工程权衡：① <strong>与可学习位置编码的对比</strong>——BERT/GPT-2 用可学习的位置嵌入（一个 max_len×d 的矩阵），优点是灵活、可拟合数据特定的位置模式；缺点是<strong>硬上限</strong>（超过 max_len 无定义，需插值或截断）。正弦编码无参数、无上限，但灵活性较低。② <strong>'线性变换'性质的实用含义</strong>——它意味着'相对位置'在正弦编码下是<strong>可加性/平移不变</strong>的结构，理论上有利于长度泛化；这也是后续 RoPE（用旋转实现相对位置）的思想源头。③ <strong>外推失败的实证</strong>——Press 等 (2021) 的 ALiBi 论文与后续研究显示：正弦编码与可学习编码的外推能力都<strong>不如</strong> ALiBi/RoPE + 插值方案；说明'有定义'不等于'能用'。④ <strong>与 RoPE 的演进关系</strong>——RoPE 可以看作'把正弦编码的旋转性质直接施加到 Q/K 上'（而不是加到输入上），从而在<strong>每个注意力层</strong>都保持相对位置结构，效果更好；理解正弦编码的旋转性质是理解 RoPE 的前提。⑤ <strong>多模态中的扩展</strong>——视觉/视频需要 2D/3D 位置编码，正弦编码的形式可自然扩展到多维（每个维度分配一部分频率），如 ViT 的 2D 正弦编码。⑥ <strong>面试要点</strong>——被问'正弦编码为什么能外推'，应给出'<strong>无参数全域定义 + 相对位移是线性变换 + 多尺度频率</strong>'三点，并诚实指出'实践中外推有限，故现代多用 RoPE/ALiBi'；能联系到 RoPE 的旋转性质是明显加分。