位置编码 RoPE/ALiBi

RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 $2j$、$2j+1$ 维做角度为 $m \theta_j$ 的旋转,其中 $\theta_j = 10000^{-2j/d}$,使得任意位置 $m$、$n$ 的内积只依赖相对距离 $m - n$;ALiBi 不旋转向量,直接给注意力分数加线性偏置 $-m \cdot |i - j|$,零参数。

LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调外推与低成本的模型;面试必考 RoPE 公式、波长性质与外推问题。

可学习/绝对位置编码需要为固定长度学习参数,外推到更长序列即失效;RoPE 把位置写进旋转矩阵,与点积天然结合实现相对位置,且低频率维度旋转慢(波长 $\lambda_j = 2\pi \cdot 10000^{2j/d}$,最低频约 62832 个 token),天然给"近期 token"更高权重;ALiBi 零参数、原生可外推,但远距离相对位置的区分度弱,长程建模能力受限。

检验攻克程度：针对「位置编码 RoPE/ALiBi」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。