⚡ 大语言模型ID: positional-encoding

位置编码 RoPE/ALiBi

Q: RoPE 的旋转公式?为什么内积只依赖相对位置 $m - n$?

【位置编码 RoPE/ALiBi 核心考点 1】RoPE 的旋转公式?为什么内积只依赖相对位置 $m - n$?。技术解析：定义: RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 2j、2j+1 维做角度为 m \theta_j 的旋转,其中 \theta_j = 10000^{-2j/d},使得任意位置 m、n 的内积只依赖相对距离 m - n;ALiBi 不旋转向量,直接给注意力分数加线性偏置 -m \cdot |i - j|,零参数。 使用场景: LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/positional-encoding

Q: RoPE 的波长公式:最低频维度周期约多少?base=10000 的周期混淆出现在多长序列?(约 6 万 token,LLaMA-3 改用 500000)

【位置编码 RoPE/ALiBi 核心考点 2】RoPE 的波长公式:最低频维度周期约多少?base=10000 的周期混淆出现在多长序列?(约 6 万 token,LLaMA-3 改用 500000)。技术解析：定义: RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 2j、2j+1 维做角度为 m \theta_j 的旋转,其中 \theta_j = 10000^{-2j/d},使得任意位置 m、n 的内积只依赖相对距离 m - n;ALiBi 不旋转向量,直接给注意力分数加线性偏置 -m \cdot |i - j|,零参数。 使用场景: LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/positional-encoding

Q: RoPE 与绝对位置编码、可学习位置编码的对比?

【位置编码 RoPE/ALiBi 核心考点 3】RoPE 与绝对位置编码、可学习位置编码的对比?。技术解析：定义: RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 2j、2j+1 维做角度为 m \theta_j 的旋转,其中 \theta_j = 10000^{-2j/d},使得任意位置 m、n 的内积只依赖相对距离 m - n;ALiBi 不旋转向量,直接给注意力分数加线性偏置 -m \cdot |i - j|,零参数。 使用场景: LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/positional-encoding

Q: ALiBi 的原理与优缺点?

【位置编码 RoPE/ALiBi 核心考点 4】ALiBi 的原理与优缺点?。技术解析：定义: RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 2j、2j+1 维做角度为 m \theta_j 的旋转,其中 \theta_j = 10000^{-2j/d},使得任意位置 m、n 的内积只依赖相对距离 m - n;ALiBi 不旋转向量,直接给注意力分数加线性偏置 -m \cdot |i - j|,零参数。 使用场景: LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/positional-encoding

Q: RoPE 为什么不能直接外推到长序列?(引出 PI/NTK/YaRN)

【位置编码 RoPE/ALiBi 核心考点 5】RoPE 为什么不能直接外推到长序列?(引出 PI/NTK/YaRN)。技术解析：定义: RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第 2j、2j+1 维做角度为 m \theta_j 的旋转,其中 \theta_j = 10000^{-2j/d},使得任意位置 m、n 的内积只依赖相对距离 m - n;ALiBi 不旋转向量,直接给注意力分数加线性偏置 -m \cdot |i - j|,零参数。 使用场景: LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/LLM/card/positional-encoding

Positional Encoding RoPE/ALiBi

🎯核心定义

RoPE (Rotary Position Embedding, 旋转位置编码) 对 Q/K 的第

2j

、

2j+1

维做角度为

m \theta_j

的旋转,其中

\theta_j = 10000^{-2j/d}

,使得任意位置

m

、

n

的内积只依赖相对距离

m - n

;ALiBi 不旋转向量,直接给注意力分数加线性偏置

-m \cdot |i - j|

,零参数。

💡使用场景

LLaMA/Qwen/Mistral/Gemma 等主流模型全部使用 RoPE(LLaMA-3 把旋转基数调到 500000);ALiBi 用于 BLOOM、MPT 等强调外推与低成本的模型;面试必考 RoPE 公式、波长性质与外推问题。

⚡解决的核心痛点

可学习/绝对位置编码需要为固定长度学习参数,外推到更长序列即失效;RoPE 把位置写进旋转矩阵,与点积天然结合实现相对位置,且低频率维度旋转慢(波长

\lambda_j = 2\pi \cdot 10000^{2j/d}

,最低频约 62832 个 token),天然给"近期 token"更高权重;ALiBi 零参数、原生可外推,但远距离相对位置的区分度弱,长程建模能力受限。

🎯核心面试考点体系 (Exam Points)

基础原理 · 工业场景 · 深入排雷

基础·定义

请阐明【位置编码 RoPE/ALiBi】的本质定义、底层数学/架构运作机制与关键原理。

基础·场景

在实际工业生产体系中，【位置编码 RoPE/ALiBi】适用于哪些典型场景？解决了什么核心工程痛点？

🔥 高频进阶实战考点 (Top 5 Deep-Dive Questions)

RoPE 的旋转公式?为什么内积只依赖相对位置

m - n

RoPE 的波长公式:最低频维度周期约多少?base=10000 的周期混淆出现在多长序列?(约 6 万 token,LLaMA-3 改用 500000)

RoPE 与绝对位置编码、可学习位置编码的对比?

ALiBi 的原理与优缺点?

RoPE 为什么不能直接外推到长序列?(引出 PI/NTK/YaRN)

📖 关联深度指南:📄 transformer-architecture →

更新于 2026-08-12

🎯

检验攻克程度：针对「位置编码 RoPE/ALiBi」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点SSM/线性注意力混合下一个知识点 →RoPE 外推方案 PI/NTK/YaRN

位置编码 RoPE/ALiBi

🔗 更多 大语言模型 知识点卡片

🔗 更多大语言模型知识点卡片