Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释位置编码与长度外推的评测方法。

Core Concept: 用 PPL 随长度曲线、needle-in-a-haystack、长文档 QA、RULER 等综合基准；单看 PPL 会高估外推能力。

数学机理：<strong>评测的分层</strong>——长上下文能力包含多种子能力（精确检索、多跳推理、全局聚合、抗干扰），单一指标无法覆盖。<strong>(1) PPL 随长度</strong>——把测试文本按不同长度切分、计算困惑度，观察是否随长度急剧上升。<strong>局限</strong>——PPL 主要反映'局部语言建模'能力；模型即使忽略远距离信息也能通过近距离上下文获得较低的 PPL（因为语言有很强的局部可预测性）。故 PPL 平稳<strong>不等于</strong>长上下文可用（这是最常见的误判）。<strong>(2) Needle-in-a-Haystack（NIAH）</strong>——在长文档中插入一个'针'（一个事实），要求模型回答；通过改变'插入深度'与'上下文长度'形成热力图，评估检索能力。<strong>局限</strong>——NIAH 是'单针检索'，较易被'注意力汇聚 + 局部窗口'模式绕过（模型可能只关注开头与结尾）；故需扩展到'多针'、'多跳'、'干扰针'。<strong>(3) 长文档 QA</strong>——用真实长文档（如合同、论文）与问题评估，更贴近应用，但受数据质量影响。<strong>(4) RULER（Hsieh 等 2024）</strong>——综合基准，包含四类任务：<strong>检索（多针/多键）</strong>、<strong>多跳追踪（如变量追踪）</strong>、<strong>聚合（如统计词频）</strong>、<strong>问答</strong>；每类可调节长度，能区分'真长上下文能力'与'局部模式'。<strong>评测要点</strong>——应报告 (a) 有效上下文长度（性能下降到阈值的长度）、(b) 各子任务的表现、(c) 与'仅用局部上下文'的基线对比（排除'靠局部就能做对'的情况）。

深度剖析与工程权衡：① <strong>'有效上下文长度'的定义</strong>——通常取'性能降到训练长度性能的某比例（如 90%）时的最大长度'；不同任务的有效长度可能差异很大（检索可能很长、聚合可能很短）。② <strong>NIAH 的'作弊'现象</strong>——模型可通过'关注序列首尾'完成单针检索（因为针常被放在特定位置），故 NIAH 高分不代表真正的长上下文理解；RULER 的设计正是为了规避这类捷径。③ <strong>与'位置编码外推'的关系</strong>——评测应同时报告'使用的 RoPE 缩放配置'（linear/dynamic/yarn/factor），否则结果不可比；外推技术可显著改善 NIAH 但未必改善多跳推理。④ <strong>'长上下文 vs 检索增强'的对比</strong>——长上下文与 RAG 各有优势（前者保持全局连贯、后者精确且便宜）；评测应包含'与 RAG 基线的对比'以指导工程选择。⑤ <strong>成本维度</strong>——长上下文的推理成本 ∝ 长度（注意力）与 KV cache 显存；评测应报告'达到某性能所需的最小长度'（经济性）。⑥ <strong>面试要点</strong>——被问'如何评估长上下文'，应给出'<strong>PPL（粗筛，会高估）→ NIAH（检索）→ RULER（多任务）→ 长文档 QA（贴近应用）</strong>'的层次，并强调'必须与仅局部上下文的基线对比'；能指出'NIAH 的作弊风险'是深度理解的标志。