Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释 RoPE 的实现细节（复数形式、高效计算、基频 θ）。

Core Concept: RoPE 可写成复数乘法（q·e^{ipθ}）；实现用预计算 sin/cos 做逐元素乘加；基频 θ 决定可区分的最大距离。

数学机理：<strong>复数视角</strong>——RoPE 把每对相邻维度视为一个复数 z=q_{2i}+i·q_{2i+1}，位置 p 的旋转等价于乘以 e^{ipθ_i}（模为 1、幅角为 pθ_i）；故 RoPE 是'对每个二维子空间施加与位置成正比的相位旋转'。<strong>为什么内积只依赖相对位置</strong>——|e^{ipθ}·conj(e^{isθ})|=e^{i(p−s)θ}，相位差为 (p−s)θ，故内积只依赖 p−s。<strong>实现效率</strong>——不真正用复数运算，而是<strong>预计算</strong> cos(pθ_i) 与 sin(pθ_i) 表（形状 [L, d/2]），然后对 Q/K 做'逐元素乘加'：q'_{2i}=q_{2i}cos−q_{2i+1}sin、q'_{2i+1}=q_{2i}sin+q_{2i+1}cos。这样开销很小（O(L·d)），且可融合进注意力 kernel。<strong>基频 base</strong>——θ_i=b^{−2i/d}，其中 b=10000 是默认值；最低频子空间的周期为 2π/θ_0=2π·b^{...}，决定了'可区分的最大距离'。<strong>增大 base 的作用</strong>——若 base 从 10000 提到 500000（如 LLaMA-3 从 10000 提到 500000），则所有 θ_i 变小、周期变长，使更远的位置仍有可区分的相位；这等价于'把 RoPE 的频率范围整体下移'，是扩展上下文最直接的手段之一（无需插值即可部分外推）。<strong>代价</strong>——增大 base 会使<strong>近距离</strong>的相位差变小（局部位置分辨力下降），故需权衡；实践中常配合'部分维度用大 base、部分用小 base'的混合方案。<strong>部分旋转（partial RoPE）</strong>——只对 Q/K 的前一部分维度施加旋转、其余维度不加位置信息；用于'减少位置信息对某些通道的干扰'，在部分模型（如 GPT-NeoX）中使用。

深度剖析与工程权衡：① <strong>预计算与缓存</strong>——cos/sin 表可预计算并缓存；对推理而言，K 的旋转可在'写入 KV cache 时'完成，故解码时无需重复旋转历史 K。② <strong>与 Flash Attention 的融合</strong>——RoPE 的逐元素乘加可融合进 Flash Attention 的 kernel（在加载 Q/K 分块时施加旋转），避免额外的内存往返。③ <strong>base 与'长距离衰减'</strong>——增大 base 会使远距离的相位差更小，从而<strong>减弱</strong> RoPE 的'长距离衰减'倾向（注意力更分散）；这与'希望长上下文能精确检索'的目标一致，但也可能损害'局部依赖建模'。④ <strong>多种缩放策略并存</strong>——实践中推理框架支持 linear/dynamic/ntk/yarn 等多种 rope_scaling；选择取决于目标长度、是否可微调、以及对局部性能的要求。⑤ <strong>2D/3D 的 M-RoPE</strong>——把 d 维分成几段，分别用于时间/高度/宽度维度的旋转；Qwen2-VL 用 M-RoPE 统一处理文本与图像（文本只用时间维、图像用三维），是多模态位置编码的主流方案。⑥ <strong>面试要点</strong>——被问'RoPE 怎么实现'，应给出'<strong>复数/旋转视角 + 预计算 sin/cos + 逐元素乘加</strong>'，并解释'<strong>base 决定可区分距离，增大 base 可扩展上下文但损害局部分辨</strong>'；能提到 partial RoPE 与 M-RoPE 是深度理解的标志。