C4HardPart C · 位置编码演进

RoPE 长度外推(NTK-Aware Scaled 动态基频缩放)

⚡闪卡盲测➔

解决直接线性插值造成高频信息丢失的缺陷,基于神经正切核理论动态非线性缩放基频。

⏱️ 时间复杂度: O(D) 初始化开销
💾 空间复杂度: O(D) 仅常数频率向量
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def compute_ntk_scaled_frequencies(
dim: int,
alpha: float,
theta_base: float = 10000.0
) -> np.ndarray:
"""
NTK-Aware 动态基频缩放。
参数:
dim: 隐藏头维度 D
alpha: 长度扩展倍率 (例如从 4k 外推至 16k 时 alpha = 4.0)
theta_base: 原始基频底数 (通常 10000.0)
返回:
scaled_freqs: (dim // 2,)
"""
half_dim =
# 核心公式: base' = base * alpha ** (dim / (dim - 2))
base_prime = theta_base * (alpha ** (dim / (dim - 2)))
# 基于新的底数计算缩放后的各通道角频率
i = np.arange(0, half_dim)
scaled_freqs =
return scaled_freqs
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: YaRN 相比 NTK-Aware RoPE 进一步解决了什么核心问题?
下一题: Scaled Dot-Product Attention 与因果掩码 →
💡

实战一句话记忆口诀

高频保局部不盲插,低频展全局底数大,外推四倍不崩盘

📐 核心数学公式与机理推导

b′=b⋅αdd−2,θi′=1(b′)2i/db' = b \cdot \alpha^{\frac{d}{d - 2}}, \quad \theta_i' = \frac{1}{(b')^{2i/d}}
### 线性位置插值 (PI) 的缺陷与 NTK 修正
如果模型预训练长度为 LL,直接推理输入 L′=αLL' = \alpha L(α>1\alpha > 1):
- 直接外推:遇到未见过的绝对位置角度,RoPE 旋转相位紊乱,困惑度(PPL)迅速爆炸;
- 位置插值(Linear Position Interpolation):将位置索引整体压缩 pos←pos/αpos \leftarrow pos / \alpha。但这会导致最高频分量波长过小,无法分辨相邻 Token(高频分辨率丢失);
- NTK-Aware 核心洞察:低频分量波长长、跨度广,负责感知全局宏观位置,应当多插值(缩放);高频分量负责区分局部近邻,应当少插值(保持原始分辨率)。
通过修正基频底数 b→b′b \to b',实现了指数维度的非均匀非线性频率缩放。

🔄 张量维度与形状流转说明

alpha 扩展倍数 -> 计算新基底 base_prime -> 输出重标定频率 scaled_freqs: (D//2,)

🛡️ 数值稳定性自检与边界要点

  • alpha <= 1 时不应做任何缩放,退化为原生基底
  • 后续进阶方案还包括 YaRN(Yet another RoPE extensioN),通过引入温度系数修正 Softmax 熵增
  • 动态 NTK(Dynamic NTK)在推理时可根据实际 prompt 长度实时自适应调节 alpha

💻 完整参考代码实现

import numpy as np

def compute_ntk_scaled_frequencies(
    dim: int,
    alpha: float,
    theta_base: float = 10000.0
) -> np.ndarray:
    """
    NTK-Aware 动态基频缩放。
    参数:
        dim: 隐藏头维度 D
        alpha: 长度扩展倍率 (例如从 4k 外推至 16k 时 alpha = 4.0)
        theta_base: 原始基频底数 (通常 10000.0)
    返回:
        scaled_freqs: (dim // 2,)
    """
    half_dim = dim // 2
    # 核心公式: base' = base * alpha ** (dim / (dim - 2))
    base_prime = theta_base * (alpha ** (dim / (dim - 2)))
    # 基于新的底数计算缩放后的各通道角频率
    i = np.arange(0, half_dim)
    scaled_freqs = 1.0 / (base_prime ** (i / half_dim))
    return scaled_freqs

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
freq_orig = 1.0 / (10000.0 ** (np.arange(0, 32) / 32))
freq_ntk = compute_ntk_scaled_frequencies(dim=64, alpha=4.0, theta_base=10000.0)
assert len(freq_ntk) == 32
# 高频通道(i=0)缩放极其微弱,保持相邻区分力
assert np.isclose(freq_ntk[0], freq_orig[0], rtol=0.1)
# 低频通道(i=31)显著压缩,适应长程全局
assert freq_ntk[-1] < freq_orig[-1]
print("✓ NTK-Aware RoPE 频率缩放自测通过")

🎯 核心工程追问与标准应答

Q1:YaRN 相比 NTK-Aware RoPE 进一步解决了什么核心问题?
当序列外推到超长距离时,由于参与 Softmax 归一化的 Token 数量急剧增加,注意力分布的熵会大幅增加导致输出过于平滑。YaRN 引入了注意力温度调制系数 t\sqrt{t}(Attention Scale),在对 QK 点积除以 d\sqrt{d} 的基础上再除以标量温度因子,恢复尖锐的注意力集中度。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: ALiBi 线性偏置注意力(斜率衰减与外推)返回 Part C 与全部 105 题下一题: Scaled Dot-Product Attention 与因果掩码 →