Long Context Extensions & Scaling: 解释长上下文训练中的数据构造与课程学习。

Core Concept: 长文档稀缺，常用'短文档拼接'或'合成任务（NIAH 风格）'构造数据；用长度课程学习（逐步加长）稳定训练。

数学机理：<strong>数据稀缺问题</strong>——高质量的<strong>原生长文档</strong>（书籍、长论文、大型代码库、长对话）远少于短文本；且长序列训练算力 ∝L²（注意力），成本极高。故需构造数据：<strong>(1) 拼接（packing）</strong>——把多个短文档拼接到目标长度（用文档分隔符或 BOS 标记）；优点是简单、能充分利用现有语料；缺点是<strong>文档间无真实依赖</strong>（模型学不到跨文档的长距离推理），且需处理注意力隔离（避免跨文档注意力泄漏，用块对角 mask）。<strong>(2) 合成任务</strong>——构造'需要长上下文才能解'的任务，如 <strong>NIAH 风格</strong>（在长文本中插入事实并提问）、<strong>多跳追踪</strong>（变量赋值与引用）、<strong>聚合统计</strong>（数词频）；这类数据可无限生成、且<strong>直接针对有效利用能力</strong>训练。<strong>(3) 长文档改写/扩展</strong>——用 LLM 把短文档扩写成连贯的长文档（保证真实依赖）。<strong>课程学习（curriculum learning）</strong>——从短序列（如 4k）开始、逐步增加到目标长度（8k→32k→128k）；<strong>为什么必要</strong>：(a) <strong>稳定性</strong>——一开始就训超长序列时，注意力分布与位置编码都处于未训练区域，loss 易尖峰/发散；(b) <strong>效率</strong>——短序列阶段的计算成本低（∝L²），可快速收敛基础能力，再逐步扩展到长序列（成本递增）；(c) <strong>位置编码适配</strong>——配合 RoPE 缩放的逐步调整（如随长度增长逐步增大缩放因子）。<strong>实证</strong>——多个长上下文模型（如 LLaMA-3、Qwen-2.5）报告使用'长度课程 + 合成任务'显著提升有效上下文长度。

深度剖析与工程权衡：① <strong>拼接的注意力隔离</strong>——朴素拼接会让模型跨文档关注（引入虚假依赖），故需用块对角 mask 或文档边界标记；但完全的块对角 mask 又使'跨文档长距离能力'无法训练——故实践中常在部分样本上用全注意力（学习跨文档整合）、部分用隔离（避免噪声）。② <strong>合成任务的'过拟合'风险</strong>——只用 NIAH 风格数据训练会让模型擅长'检索式'任务但未必提升'整合式'能力；故需混合多种任务（检索/多跳/聚合/摘要）。③ <strong>与位置编码的协同</strong>——课程学习常与 RoPE 缩放的逐步调整配合（如 YaRN 的分阶段缩放），避免一步跳到极端缩放导致性能崩溃。④ <strong>成本账本</strong>——把上下文从 8k 扩到 128k，注意力算力增 256 倍；故课程学习的'先短后长'也意味着'大部分算力花在短序列'（更经济）。⑤ <strong>评测的一致性</strong>——训练数据的构造方式会影响评测结果（如用 NIAH 训练则在 NIAH 上表现好）；故需用'训练未见的任务'评估真实泛化（RULER 的多种任务）。⑥ <strong>面试要点</strong>——被问'长上下文数据怎么造'，应给出'<strong>拼接（+注意力隔离）/ 合成任务（NIAH/多跳/聚合）/ 长文档改写</strong>'三类，并解释'<strong>长度课程学习为何必要（稳定性 + 效率 + 位置编码适配）</strong>'；能指出'合成任务的过拟合风险'是深度理解的标志。