Pretraining Objectives & Data Curation: 解释数据污染（contamination）与它对评测可信度的影响。

Core Concept: 测试集内容出现在训练数据中使评测虚高；需 n-gram 重叠检测、成员推断、以及新测试集验证。

数学机理：<strong>污染（data contamination / leakage）</strong> 指<strong>测试集的内容（或其改写形式）出现在训练数据中</strong>，使模型可以'回忆'而非'推理'，导致评测结果虚高。<strong>来源</strong>——(a) 网页爬取时抓到了包含 benchmark 题目的页面（如 GitHub 上的题目+答案、博客上的解析）；(b) 训练数据与测试集来自同一来源（如同一教材）；(c) 合成数据生成时引用了测试集内容。<strong>检测方法</strong>：(a) <strong>n-gram 重叠检测</strong>——检查测试样本的 n-gram（如 13-gram）是否出现在训练语料中；这是最常用的方法（但只检测'逐字重复'，对改写无效）；(b) <strong>成员推断（membership inference）</strong>——用统计方法判断某样本是否在训练集中（如比较模型对该样本与相似未训练样本的困惑度）；(c) <strong>canary 字符串</strong>——在训练数据中插入独特的随机字符串，训练后测试模型能否'复述'它们（用于<strong>验证污染检测流程是否有效</strong>，也可用于'水印'）；(d) <strong>时间切分</strong>——用训练截止日期之后发布的测试集（如新竞赛题目），从时间上避免污染。<strong>影响</strong>——(a) <strong>高估能力</strong>（模型在'见过的题'上表现好，但不代表泛化）；(b) <strong>误导模型选择</strong>（选出的模型可能在真实场景更差）；(c) <strong>破坏基准的可比性</strong>（不同模型的污染程度不同）。<strong>对策</strong>——(a) <strong>训练前去重</strong>（把测试集内容从训练语料中移除）；(b) <strong>报告污染率</strong>（论文应报告 n-gram 重叠比例）；(c) <strong>用动态/私有测试集</strong>（定期更新、不公开）；(d) <strong>多基准交叉验证</strong>（若某模型在某基准异常高、其他基准正常，需警惕污染）。<strong>注意</strong>——污染<strong>难以完全避免</strong>（网页数据的规模与改写形式使检测不可能穷尽），故'评测结果的解读需谨慎'是常态。

深度剖析与工程权衡：① <strong>'污染不可完全避免'是重要的认知</strong>——即使做了去重，改写、翻译、部分引用等形式仍可能漏过；故对'某模型在某基准上异常高'应保持怀疑，并用<strong>多个基准 + 真实任务</strong>交叉验证。② <strong>n-gram 检测的局限</strong>——它只检测<strong>逐字重复</strong>；对'同一道题换了数字/表述'无效。故需结合成员推断等方法。③ <strong>canary 的双重用途</strong>——它既能<strong>验证检测流程</strong>（若检测不到已知插入的 canary，说明流程失效），也能作为<strong>数据水印</strong>（追踪数据来源与版权）。④ <strong>动态基准的必要性</strong>——静态公开基准一旦被爬取就'失效'；故有 (a) <strong>私有测试集</strong>（如 LMSYS Chatbot Arena 的实时对战）、(b) <strong>定期更新</strong>（如 MMLU-Pro、GPQA 等新基准）、(c) <strong>程序化生成的题目</strong>（可无限生成、难以被污染）。⑤ <strong>与合成数据的关系</strong>——合成数据生成时若'用测试集作为种子/示例'，会引入污染；故需在生成流程中隔离测试集。⑥ <strong>面试要点</strong>——被问'如何保证评测可信'，应给出'<strong>污染检测（n-gram/成员推断/canary）+ 时间切分 + 动态基准 + 报告污染率</strong>'，并强调'<strong>污染不可完全避免、需多基准交叉验证</strong>'；能区分'n-gram 只检测逐字重复'是深度理解的标志。