Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释 RoPE 的旋转机制与相对位置性质。

Core Concept: 把 Q/K 按二维子空间旋转角度 ∝ 位置，使 QKᵀ 只依赖相对位置差；无需加性编码、可自然衰减远距离注意力。

数学机理：<strong>RoPE（Rotary Position Embedding，Su 等 2021）</strong> 的核心思想是：把 d 维的 Q/K 分成 d/2 个二维子空间，对第 i 个子空间施加角度为 p·θ_i 的<strong>旋转</strong>（p 为位置、θ_i 为第 i 个子空间的基频，θ_i=10000^{−2i/d}）。即 q'=R_{θ,p}q、k'=R_{θ,s}k，其中 R 是分块对角的旋转矩阵。<strong>关键性质</strong>——两个旋转后向量的内积满足：⟨R_{θ,p}q, R_{θ,s}k⟩ = qᵀR_{θ,s−p}k，即<strong>内积只依赖相对位置 (s−p)</strong>，与绝对位置无关。这正是'相对位置编码'想要的性质，而 RoPE 通过<strong>旋转</strong>优雅地实现了它——不需要额外的相对位置偏置表（如 T5 的相对位置桶），也不改变注意力计算的形式（只是对 Q/K 做一次逐元素/分块的旋转）。<strong>实现效率</strong>——旋转可用复数乘法或'预计算 sin/cos + 逐元素乘加'实现，开销极小；且 RoPE 只作用在 Q/K 上（不作用在 V 与残差流上），保持了对 KV cache 的友好性（缓存的 K 已是旋转后的）。<strong>'远距离衰减'倾向</strong>——随着相对距离增大，不同频率子空间的旋转相位差趋于'均匀分布'，使内积的期望趋近于 0（即远距离的注意力倾向减弱）。这一性质被称为 RoPE 的'长距离衰减（long-term decay）'，与'语言中近距离依赖更强'的先验吻合。

深度剖析与工程权衡：① <strong>为什么比加性位置编码更好</strong>——加性编码（正弦/可学习）把位置信息加到<strong>输入 embedding</strong> 上，只在第一层直接可见；RoPE 在<strong>每一层的 Q/K</strong> 上都施加位置结构，使相对位置信息在所有层都显式可用。这是 RoPE 效果更好的关键。② <strong>与 KV cache 的兼容性</strong>——RoPE 旋转只依赖位置，故缓存的 K 可直接复用（无需重新加位置编码）；而某些相对位置方案需要动态构造偏置矩阵，对 cache 不友好。③ <strong>基频 θ 的作用</strong>——基频决定了'最低频子空间'的周期长度；周期越长，可区分的最大距离越大。故<strong>增大基频（base）</strong> 是扩展上下文长度的常用手段（如从 10000 提到 500000），使长距离位置的编码仍可区分。④ <strong>外推问题</strong>——RoPE 在训练长度之外仍会失效（旋转角度超出训练范围、相位进入未见区域）；故需要 <strong>NTK-aware 缩放、YaRN、位置插值（PI）</strong> 等外推技术（见后续题）。⑤ <strong>2D/3D 扩展</strong>——RoPE 可扩展到图像/视频的二维/三维位置（每个维度分配一部分子空间并分别旋转），是 VLM 与视频模型的主流方案（如 Qwen2-VL 的 M-RoPE）。⑥ <strong>面试要点</strong>——被问'RoPE 是什么'，应给出'<strong>分块旋转 + 内积只依赖相对位置</strong>'的核心，并写出 ⟨R_p q, R_s k⟩=qᵀR_{s−p}k；能说明'基频决定可区分距离'与'为何需外推技术'是深度理解的标志。