C1Easy★ 工业基石 (核心高频)Part C · 位置编码演进

Sinusoidal 绝对位置编码(正余弦几何交变)

⚡闪卡盲测➔

Attention Is All You Need 原文经典,偶数正弦奇数余弦,具备相对位置线性变换性质。

⏱️ 时间复杂度: O(S * D) 单次前向构造
💾 空间复杂度: O(S * D) 常驻只读常量表
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def sinusoidal_positional_encoding(seq_len: int, d_model: int) -> np.ndarray:
"""
纯手写 Sinusoidal 绝对位置编码。
参数:
seq_len: 序列最大长度 S
d_model: 隐藏特征维度 D (通常必须为偶数)
返回:
pe: (seq_len, d_model)
"""
assert d_model % 2 == 0, "d_model 必须为偶数"
# 1. 位置向量 pos: (seq_len, 1)
position =
# 2. 频率缩放向量 div_term: (d_model // 2,)
# 利用 exp(log) 保持高精数值稳定
i = np.arange(0, d_model, 2)
div_term = np.exp(-i * (np.log(10000.0) / d_model))
# 3. 构造输出矩阵
pe = np.zeros((seq_len, d_model), dtype=np.float32)
angles =
pe[:, 0::2] = np.sin(angles) # 偶数索引填 sin
pe[:, 1::2] = np.cos(angles) # 奇数索引填 cos
return pe
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么现代大模型几乎不再使用加性绝对位置编码,而转向乘性旋转位置编码(RoPE)?
下一题: RoPE 旋转位置编码(复数旋转矩阵与张量分块) →
💡

实战一句话记忆口诀

偶填正弦奇填余,指数取对除分母,相对平移转正交

📐 核心数学公式与机理推导

PE(pos,2i)=sin⁡(pos100002i/d),PE(pos,2i+1)=cos⁡(pos100002i/d)\mathrm{PE}_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right), \quad \mathrm{PE}_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right)
### 几何意义与波长分布
因为自注意力机制具有置换不变性(Permutation Invariance),必须注入位置信号。
Vaswani 等人提出正弦余弦几何交变编码,频率从 2π2\pi 衰减至 10000⋅2π10000 \cdot 2\pi:
ωi=1100002i/d=exp⁡(−2idln⁡10000)\omega_i = \frac{1}{10000^{2i/d}} = \exp\left(-\frac{2i}{d} \ln 10000\right)
关键数学性质:
对于任意固定位置偏移 kk,PEpos+k\mathrm{PE}_{pos+k} 可以通过 PEpos\mathrm{PE}_{pos} 的线性正交旋转变换矩阵精确获得:
[sin⁡(ωi(pos+k))cos⁡(ωi(pos+k))]=[cos⁡(ωik)sin⁡(ωik)−sin⁡(ωik)cos⁡(ωik)][sin⁡(ωipos)cos⁡(ωipos)]\begin{bmatrix} \sin(\omega_i(pos+k)) \\ \cos(\omega_i(pos+k)) \end{bmatrix} = \begin{bmatrix} \cos(\omega_i k) & \sin(\omega_i k) \\ -\sin(\omega_i k) & \cos(\omega_i k) \end{bmatrix} \begin{bmatrix} \sin(\omega_i pos) \\ \cos(\omega_i pos) \end{bmatrix}
这使得模型不仅能感知绝对位置,还能轻易学习相对位置特征。

🔄 张量维度与形状流转说明

pos: (S, 1), div: (D/2,) -> 广播乘积角度: (S, D/2) -> sin/cos 交错写入 -> pe: (S, D)

🛡️ 数值稳定性自检与边界要点

  • 计算分母时使用 exp(-2i/d * ln 10000) 替代 1.0 / (10000 ** (2i/d)),规避大指数数值误差
  • 生成的 PE 在与词嵌入相加时,原始论文通常将 Token Embedding 预乘 np.sqrt(d_model) 保持能量平衡

💻 完整参考代码实现

import numpy as np

def sinusoidal_positional_encoding(seq_len: int, d_model: int) -> np.ndarray:
    """
    纯手写 Sinusoidal 绝对位置编码。
    参数:
        seq_len: 序列最大长度 S
        d_model: 隐藏特征维度 D (通常必须为偶数)
    返回:
        pe: (seq_len, d_model)
    """
    assert d_model % 2 == 0, "d_model 必须为偶数"
    
    # 1. 位置向量 pos: (seq_len, 1)
    position = np.arange(seq_len)[:, np.newaxis]
    
    # 2. 频率缩放向量 div_term: (d_model // 2,)
    # 利用 exp(log) 保持高精数值稳定
    i = np.arange(0, d_model, 2)
    div_term = np.exp(-i * (np.log(10000.0) / d_model))
    
    # 3. 构造输出矩阵
    pe = np.zeros((seq_len, d_model), dtype=np.float32)
    angles = position * div_term  # 广播得到 (seq_len, d_model // 2)
    
    pe[:, 0::2] = np.sin(angles)  # 偶数索引填 sin
    pe[:, 1::2] = np.cos(angles)  # 奇数索引填 cos
    return pe

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
pe = sinusoidal_positional_encoding(seq_len=10, d_model=16)
assert pe.shape == (10, 16)
# 检验第 0 个位置:sin(0)=0, cos(0)=1
assert np.isclose(pe[0, 0], 0.0) and np.isclose(pe[0, 1], 1.0)
print("✓ Sinusoidal 编码自测通过")

🎯 核心工程追问与标准应答

Q1:为什么现代大模型几乎不再使用加性绝对位置编码,而转向乘性旋转位置编码(RoPE)?
加性绝对位置编码是直接加在词向量输入上的,在经过多层自注意力后,位置信号会被深层特征逐渐稀释;而 RoPE 直接作用在每一层计算注意力得分的点积 QK⊤Q K^\top 上,保持了纯粹的相对旋转距离约束,且外推性更优。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Inverted Dropout(倒置丢弃法与缩放因子)返回 Part C 与全部 105 题下一题: RoPE 旋转位置编码(复数旋转矩阵与张量分块) →