C1Easy★ 工业基石 (核心高频)Part C · 位置编码演进
Sinusoidal 绝对位置编码(正余弦几何交变)
Attention Is All You Need 原文经典,偶数正弦奇数余弦,具备相对位置线性变换性质。
⏱️ 时间复杂度:
O(S * D) 单次前向构造💾 空间复杂度:
O(S * D) 常驻只读常量表🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def sinusoidal_positional_encoding(seq_len: int, d_model: int) -> np.ndarray:
"""
纯手写 Sinusoidal 绝对位置编码。
参数:
seq_len: 序列最大长度 S
d_model: 隐藏特征维度 D (通常必须为偶数)
返回:
pe: (seq_len, d_model)
"""
assert d_model % 2 == 0, "d_model 必须为偶数"
# 1. 位置向量 pos: (seq_len, 1)
position =
# 2. 频率缩放向量 div_term: (d_model // 2,)
# 利用 exp(log) 保持高精数值稳定
i = np.arange(0, d_model, 2)
div_term = np.exp(-i * (np.log(10000.0) / d_model))
# 3. 构造输出矩阵
pe = np.zeros((seq_len, d_model), dtype=np.float32)
angles =
pe[:, 0::2] = np.sin(angles) # 偶数索引填 sin
pe[:, 1::2] = np.cos(angles) # 奇数索引填 cos
return pe
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
偶填正弦奇填余,指数取对除分母,相对平移转正交
📐 核心数学公式与机理推导
### 几何意义与波长分布
因为自注意力机制具有置换不变性(Permutation Invariance),必须注入位置信号。
Vaswani 等人提出正弦余弦几何交变编码,频率从 衰减至 :
关键数学性质:
对于任意固定位置偏移 , 可以通过 的线性正交旋转变换矩阵精确获得:
这使得模型不仅能感知绝对位置,还能轻易学习相对位置特征。
因为自注意力机制具有置换不变性(Permutation Invariance),必须注入位置信号。
Vaswani 等人提出正弦余弦几何交变编码,频率从 衰减至 :
关键数学性质:
对于任意固定位置偏移 , 可以通过 的线性正交旋转变换矩阵精确获得:
这使得模型不仅能感知绝对位置,还能轻易学习相对位置特征。
🔄 张量维度与形状流转说明
pos: (S, 1), div: (D/2,) -> 广播乘积角度: (S, D/2) -> sin/cos 交错写入 -> pe: (S, D)
🛡️ 数值稳定性自检与边界要点
- 计算分母时使用 exp(-2i/d * ln 10000) 替代 1.0 / (10000 ** (2i/d)),规避大指数数值误差
- 生成的 PE 在与词嵌入相加时,原始论文通常将 Token Embedding 预乘 np.sqrt(d_model) 保持能量平衡
💻 完整参考代码实现
import numpy as np
def sinusoidal_positional_encoding(seq_len: int, d_model: int) -> np.ndarray:
"""
纯手写 Sinusoidal 绝对位置编码。
参数:
seq_len: 序列最大长度 S
d_model: 隐藏特征维度 D (通常必须为偶数)
返回:
pe: (seq_len, d_model)
"""
assert d_model % 2 == 0, "d_model 必须为偶数"
# 1. 位置向量 pos: (seq_len, 1)
position = np.arange(seq_len)[:, np.newaxis]
# 2. 频率缩放向量 div_term: (d_model // 2,)
# 利用 exp(log) 保持高精数值稳定
i = np.arange(0, d_model, 2)
div_term = np.exp(-i * (np.log(10000.0) / d_model))
# 3. 构造输出矩阵
pe = np.zeros((seq_len, d_model), dtype=np.float32)
angles = position * div_term # 广播得到 (seq_len, d_model // 2)
pe[:, 0::2] = np.sin(angles) # 偶数索引填 sin
pe[:, 1::2] = np.cos(angles) # 奇数索引填 cos
return pe
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
pe = sinusoidal_positional_encoding(seq_len=10, d_model=16)
assert pe.shape == (10, 16)
# 检验第 0 个位置:sin(0)=0, cos(0)=1
assert np.isclose(pe[0, 0], 0.0) and np.isclose(pe[0, 1], 1.0)
print("✓ Sinusoidal 编码自测通过")🎯 核心工程追问与标准应答
Q1:为什么现代大模型几乎不再使用加性绝对位置编码,而转向乘性旋转位置编码(RoPE)?
加性绝对位置编码是直接加在词向量输入上的,在经过多层自注意力后,位置信号会被深层特征逐渐稀释;而 RoPE 直接作用在每一层计算注意力得分的点积 上,保持了纯粹的相对旋转距离约束,且外推性更优。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!