Pretraining Objectives & Data Curation: 解释数据质量与配比对预训练的影响。

Core Concept: 数据质量（去重、过滤、格式）比数量更关键；配比（领域权重、重复次数）影响能力分布，需实验确定。

数学机理：<strong>两个维度</strong>。<strong>(1) 数据质量</strong>——包括 (a) <strong>去重</strong>（精确/近似去重，见下一题）；(b) <strong>质量过滤</strong>（启发式规则如长度/符号比/重复率，或分类器打分、困惑度过滤）；(c) <strong>格式清洗</strong>（去掉模板噪声、导航栏、乱码）；(d) <strong>有害内容过滤</strong>。<strong>为什么质量比数量重要</strong>——研究（如 Phi 系列、'Textbooks Are All You Need'）显示：<strong>高质量的小数据集可超过低质量的大数据集</strong>；低质量数据（重复、噪声、模板化文本）会 (a) 浪费计算（学到无用模式）、(b) 损害泛化（模型学会'复制模板'而非理解）、(c) 放大偏见与有害内容。在<strong>数据受限</strong>（高质量数据耗尽）的场景，质量的作用更突出。<strong>(2) 数据配比</strong>——预训练数据由多个来源组成（网页、书籍、代码、论文、数学、多语言），各来源的<strong>采样权重 w_d</strong> 决定模型的能力分布。<strong>配比的影响</strong>——(a) 代码权重高 → 代码与推理能力提升（甚至影响非代码任务）；(b) 数学权重高 → 数学能力提升；(c) 网页权重过高 → 通用但'浅'；(d) 多语言权重影响语言覆盖。<strong>配比需实验确定</strong>——通常用<strong>小规模消融</strong>（在小模型上试不同配比）再放大；也有用 <strong>DoReMi</strong> 等方法（用参考模型与代理模型的最坏情况损失自动搜索域权重）。<strong>(3) 重复次数（epoch）</strong>——同一数据重复训练有'收益递减'；Chinchilla 系列工作发现'重复约 4 次以内收益正常，超过则收益快速衰减'（过度重复会导致<strong>记忆而非泛化</strong>）。<strong>其他</strong>——(a) <strong>数据课程</strong>（先通用后专业）；(b) <strong>退火阶段的数据</strong>（末尾用高质量数据提升最终表现）；(c) <strong>合成数据</strong>（见后续题）。

深度剖析与工程权衡：① <strong>'数据为王'与'质量优先'的统一</strong>——Chinchilla 强调'数据量应随参数增长'（数量重要）；而 Phi/Textbooks 强调'高质量小数据可超越低质量大数据'（质量重要）。两者不矛盾：<strong>在质量合格的前提下，数量重要；若质量差，数量无法弥补</strong>。故实践顺序是'先保证质量（去重+过滤），再扩展数量'。② <strong>配比的'非直觉'效应</strong>——增加代码数据不仅提升代码能力，还提升<strong>通用推理</strong>（因为代码含结构化逻辑）；这被称为'跨域迁移'。故配比设计需看'整体能力'而非单域指标。③ <strong>退火数据（annealing data）</strong>——训练末尾用一小段高质量/领域数据（如数学、代码、指令数据）可显著提升特定能力，且成本低（只占总步数的小部分）；这是'用配比调优能力'的高效手段。④ <strong>重复与记忆</strong>——过度重复会让模型'背诵'数据（表现为训练 loss 很低但下游泛化差、且容易被评测污染检测发现）；故需监控'有效 epoch 数'。⑤ <strong>数据质量的度量困难</strong>——'质量'没有统一定义；常用代理指标（如'与高质量参考分布的相似度'、'困惑度'、'分类器打分'）；这些代理的有效性依赖验证。⑥ <strong>面试要点</strong>——被问'预训练数据怎么处理'，应给出'<strong>质量（去重/过滤/清洗）→ 配比（领域权重 + 消融搜索）→ 重复次数（收益递减）→ 退火数据</strong>'的流程，并说明'质量与数量不矛盾、质量是前提'；能提到'DoReMi 的自动配比搜索'与'退火数据'是深度理解的标志。