Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释 NTK-aware 与 YaRN 的 RoPE 外推原理。

Core Concept: NTK-aware 按'插值低频、保留高频'非均匀缩放位置；YaRN 在 NTK 基础上加温度校正与注意力缩放，外推更稳。

数学机理：<strong>位置插值（PI, Position Interpolation）</strong> 是最直接的外推手段：把位置 p 线性压缩为 p/s（s 为扩展倍数），使'训练长度之外的绝对位置'映射回训练范围内的位置；等价于把所有基频 θ_i 除以 s。<strong>PI 的问题</strong>——均匀压缩<strong>所有</strong>频率，使<strong>高频子空间</strong>（编码局部位置）的周期也被拉长，导致局部位置区分能力下降（相邻 token 的编码差异变小）。<strong>NTK-aware 插值（bloc97, 2023）</strong> 的洞察：高频维度负责'局部区分'、低频维度负责'全局定位'，故应<strong>非均匀</strong>缩放——<strong>低频多插值、高频少动</strong>。实现上通过修改基频：θ_i→θ_i·s^{−2i/(d−2)}（即让低频的周期放大更多），从而在扩展上下文的同时保留高频的局部分辨力。<strong>YaRN（Peng 等 2023）</strong> 在 NTK 基础上进一步改进：(1) <strong>分频段处理</strong>——把频率分成三段：高频（不插值，保留局部区分）、中频（NTK 插值）、低频（完全插值，扩展全局范围），比'整体 NTK'更精细；(2) <strong>温度校正</strong>——插值会改变注意力 logits 的分布（使其更平坦、注意力更分散），YaRN 引入温度因子（把 logits 乘以 1/√t，t>1）来补偿，恢复注意力的'锐度'；(3) <strong>注意力缩放</strong>——把注意力权重整体缩放（乘以一个与扩展倍数相关的因子），使 softmax 的熵与训练时相当。<strong>效果</strong>——YaRN 在扩展 4~32 倍上下文时性能优于 PI 与 NTK，且所需微调步数更少（称为'高效外推'）。

深度剖析与工程权衡：① <strong>外推 vs 微调的取舍</strong>——纯插值（PI/NTK/YaRN）可'零样本'扩展一定倍数（如 2~4 倍），但更大倍数（如 8 倍以上）通常仍需少量微调（few hundred steps）以恢复性能；YaRN 的设计目标正是'最小微调代价'。② <strong>'高频保局部、低频管全局'是核心直觉</strong>——这是理解所有 RoPE 外推方法的钥匙；面试中能说出这一分工即可解释为何 NTK 要非均匀缩放。③ <strong>注意力熵与长上下文的关系</strong>——插值使注意力更分散（熵增大），可能损害'精确检索'能力（needle-in-haystack 变差）；YaRN 的温度与缩放正是为了把熵拉回训练时的水平。④ <strong>与'注意力汇聚（attention sink）'的交互</strong>——长上下文中初始 token 常成为'注意力垃圾桶'；外推时若不处理，sink 会吸收过多注意力。部分方案（如 StreamingLLM）显式保留少量初始 token 作为 sink。⑤ <strong>实践配置</strong>——vLLM/Transformers 已内置 YaRN/NTK 的 RoPE 缩放配置（rope_scaling 参数）；使用时需指定 type（linear/dynamic/yarn）、factor 与原始 max_position_embeddings。⑥ <strong>面试要点</strong>——被问'怎么扩展上下文长度'，应给出'<strong>PI → NTK-aware → YaRN</strong>'的演进与各自的核心改进（非均匀缩放 / 分频段 + 温度 + 缩放），并说明'零样本外推有倍数上限，更大幅度需微调'；能提到'注意力熵'是深度理解的标志。