Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释位置插值（PI）与它的代价。

Core Concept: 把位置线性压缩 s 倍使超出训练长度的位置落入训练范围；代价是局部位置分辨力下降与注意力熵增大。

数学机理：<strong>位置插值（PI，Chen 等 2023）</strong> 的做法：把输入位置 p 线性缩放到 p/s（s 为上下文扩展倍数），使原本超出训练长度的位置（如 p=8192、训练长度 2048）被映射到训练范围内（p/s=2048）。这等价于把所有 RoPE 基频除以 s（周期放大 s 倍），使模型在'训练时见过的相位范围'内工作。<strong>实现极简</strong>——只需在计算 RoPE 时把位置乘以 1/s，不改架构、不加参数；且只需<strong>少量微调</strong>（Chen 等报告约 1000 步）即可让模型适应新长度，显著优于从头训练。<strong>代价</strong>：(1) <strong>局部位置分辨力下降</strong>——所有频率被均匀压缩，高频子空间的相位差（相邻 token 的编码差异）也缩小 s 倍，使模型难以区分近邻位置（'相邻 token 的编码几乎相同'）；(2) <strong>注意力熵增大</strong>——压缩后注意力 logits 的分布更平坦（因为位置相关的 logits 变化变小），注意力更分散、'锐度'下降，可能损害精确检索能力（needle-in-haystack）；(3) <strong>需要微调</strong>——纯零样本的 PI 在大倍数扩展下性能下降明显，需微调恢复。<strong>这些代价正是 NTK-aware 与 YaRN 要解决的问题</strong>——NTK 用非均匀缩放保留高频（解决代价 1），YaRN 用温度与注意力缩放恢复熵（解决代价 2）。

深度剖析与工程权衡：① <strong>PI 的历史地位</strong>——它是'线性外推'路线的基础工作，首次证明'只需少量微调即可大幅扩展上下文'，并给出了理论分析（插值后的注意力分数上界与训练时接近）。② <strong>微调数据的规模</strong>——PI 论文显示：扩展到 8 倍（2k→16k）只需约 1000 步微调；扩展到 32 倍需要更多。微调数据可用长文本（如书籍、代码库）自监督构造。③ <strong>与'继续预训练'的区别</strong>——PI 是'位置编码层面的适配'，不改变模型权重太多；而'继续预训练 + 长上下文数据'是从根本上提升长上下文能力（代价高但上限高）。两者可组合（先继续预训练、再用 PI/YaRN 微调）。④ <strong>'动态 NTK'（Dynamic NTK）</strong>——不在推理时固定缩放，而是根据当前序列长度<strong>动态</strong>计算缩放因子（序列越长、缩放越多）；这样短序列时行为与原始模型一致、长序列时自动扩展。这是 vLLM 等推理框架的常用选项。⑤ <strong>评测方法</strong>——长上下文能力需用 (a) <strong>perplexity 随长度</strong>、(b) <strong>needle-in-a-haystack</strong>（在长文中检索一个事实）、(c) <strong>长文档 QA</strong>、(d) <strong>RULER</strong> 等综合基准评估；单看 PPL 会高估能力。⑥ <strong>面试要点</strong>——被问'位置插值'，应给出'<strong>线性压缩位置 → 落入训练范围 → 少量微调恢复</strong>'，并列出两条代价（局部分辨力、注意力熵）；能指出'NTK/YaRN 正是针对这两条代价的改进'，体现方案间的连贯理解。