Long Context Extensions & Scaling: 比较长上下文的扩展路线：外推、检索增强、结构改造。

Core Concept: 外推（位置编码 + 少量微调）最省成本；检索增强（RAG）最经济；结构改造（稀疏/线性/SSM）最根本但需重训。

数学机理：三条路线的<strong>成本-能力</strong>权衡不同。<strong>(1) 外推（position encoding extrapolation）</strong>——改 RoPE 缩放（PI/NTK/YaRN）+ 少量继续训练（几百到几千步）；<strong>成本最低</strong>（不需改架构、不需大量数据）。<strong>上限</strong>受'训练数据的最长长度'与'微调数据量'限制（通常可扩 4~8 倍，更大倍数需更多训练）。<strong>适合</strong>'已有模型 + 需中等扩展'。<strong>(2) 检索增强（RAG）</strong>——不改模型，在推理时检索相关片段拼进 prompt；<strong>最经济</strong>（推理成本 ∝ 检索片段长度而非全文档）。<strong>局限</strong>——(a) 依赖检索质量（召回不足则失败）、(b) 不保证全局连贯（无法做'全书摘要'这类需要整合全文的任务）、(c) 多跳推理困难。<strong>适合</strong>'知识密集、相关片段少'的任务（事实问答、客服）。<strong>(3) 结构改造（architectural）</strong>——用稀疏/滑窗注意力、线性注意力、SSM/Mamba、或混合架构，从<strong>架构层面</strong>把复杂度降到线性；<strong>最根本</strong>（可支持任意长度、计算 ∝L），但需<strong>重训或大量继续预训练</strong>（成本最高）。<strong>适合</strong>'需要极长上下文（1M+）+ 高吞吐'的场景（长文档处理、代码库级理解、流式输入）。<strong>组合实践</strong>——(a) <strong>外推 + 检索</strong>（最常见：模型支持 32k，检索出最相关的片段放入）；(b) <strong>结构改造 + 外推</strong>（长上下文模型 + 位置编码适配）；(c) <strong>检索 + 长上下文</strong>（把检索结果放入长上下文窗口，兼顾精度与连贯）。<strong>选择依据</strong>——按'需要的长度、任务类型（连贯 vs 检索）、可用算力、延迟/成本约束'四维决策。

深度剖析与工程权衡：① <strong>'必须用长上下文'的任务</strong>——(a) <strong>全局整合</strong>（全书摘要、长代码重构、跨章节推理）；(b) <strong>稠密相关</strong>（每个片段都可能相关，检索难以筛出）；(c) <strong>顺序依赖</strong>（如长对话的连贯性）。反之'只需少数片段'的任务应优先用检索。② <strong>成本的经济学</strong>——长上下文的推理成本 ∝L²（注意力）与 ∝L（KV）；RAG 成本 ∝检索片段长度（可控制在 4k~8k）。故'用 100k 上下文 vs 检索 4k'的成本差异可达数十倍。这使 RAG 在多数场景更经济。③ <strong>结构改造的现实成本</strong>——从 0 训练长上下文模型需巨量算力；故实践中更多是'在已有模型上做继续预训练 + 架构微调'（如把部分层换成滑窗/线性）。④ <strong>与'有效长度'的耦合</strong>——三条路线都受'有效利用'问题限制（即使支持 128k，中间信息仍可能被忽略）；故需配合 lost-in-the-middle 的对策。⑤ <strong>评测的一致性</strong>——比较不同路线时需用统一基准（RULER/NIAH/长文档 QA）与统一成本口径（每 token 成本），否则容易得出误导结论。⑥ <strong>面试要点</strong>——被问'如何支持长上下文'，应给出'<strong>外推（省成本）/ 检索（最经济）/ 结构改造（最根本）</strong>'三条路线与各自成本-能力，并说明'组合使用是常态、选择依据是任务类型与成本约束'；能指出'必须用长上下文的任务特征（全局整合/稠密相关）'是深度理解的标志。