长上下文扩展

长上下文扩展把模型有效上下文从 4K/8K 扩到 128K/1M, 主要有两条路线。路线一: 位置编码改造——PI(Positional Interpolation)把 RoPE 位置 m 按扩展倍数 s 缩放为 $m/s$ 做线性内插;NTK 感知缩放只压低低频分量、保留高频信息; YaRN(Yet another RoPE extensioN)在 NTK 基础上引入温度系数 t, 用 $1/\sqrt{t}$ 缩放注意力对数, 是目前最常用方案。路线二: 继续训练——用长文档(书籍、代码仓库)按序列打包做小学习率继续预训练。

长文档问答、代码仓库理解、Agent 长程任务; 推理时需配合 KV Cache 管理(详见 AI_Infra 模块)。

直接外推时 RoPE 位置超出训练范围, 注意力分数失稳、困惑度暴涨。PI/NTK/YaRN 无需或仅需极少量训练即可把上下文从 4K 扩到 128K(如 YaRN-LLaMA-2-128K), 困惑度与短上下文基本持平;代价是 KV Cache 显存随长度线性增长: 128K 上下文的 70B 模型 KV cache 达数百 GB(约 $2 \times 2 \times L \times H \times d \times s \times b$), 必须配合 PagedAttention 等显存管理手段。

检验攻克程度：针对「长上下文扩展」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。