LLM Evaluation Benchmarks: 解释静态 benchmark 的失效与动态评估的必要性。

Core Concept: 静态基准会被污染与'刷榜'（过拟合）；需动态/私有/程序生成的评估，以及真实场景的在线评估。

数学机理：<strong>静态 benchmark 的三类失效</strong>。(1) <strong>污染（contamination）</strong>——测试集内容进入训练数据，使模型'背答案'（见 M5 的污染题）；公开基准（MMLU、GSM8K、HumanEval）被爬取后容易污染。(2) <strong>过拟合/刷榜（benchmark overfitting）</strong>——模型（或团队）<strong>针对基准优化</strong>（如用基准风格的训练数据、调整 prompt 到最优），使基准分数提升但<strong>真实能力未提升</strong>；这使基准'失去区分度'（大家都高分）。(3) <strong>饱和（saturation）</strong>——顶级模型在基准上接近满分，无法区分（如 MMLU 上多个模型 >88%）；需更难的基准（MMLU-Pro、GPQA、ARC-AGI）。(4) <strong>与真实场景脱节</strong>——基准任务（选择题）与实际应用（多轮对话、工具使用）差异大；高分不代表可用。<strong>对策</strong>：(1) <strong>动态基准</strong>——定期更新题目（如 Chatbot Arena 用实时用户对战、LMSYS 的 Elo 排名）；新题目无法被提前污染。(2) <strong>私有测试集</strong>——不公开（或只公开部分），防止污染与过拟合（如部分企业的内部评测）。(3) <strong>程序生成（procedural）</strong>——用程序<strong>自动生成</strong>题目（如随机生成数学题、代码任务、逻辑谜题）；题目空间巨大，无法被穷尽污染；且难度可调（避免饱和）。(4) <strong>在线评估（online / live eval）</strong>——用真实用户流量评估（A/B 测试、任务完成率、满意度）；最贴近实际但成本高、需控制变量。(5) <strong>多基准交叉验证</strong>——若某模型在单一基准上异常高而其他基准正常，需警惕污染/过拟合。(6) <strong>人类偏好评估</strong>——用人类对真实场景输出的偏好（如 Arena 的对战）；难被'刷'（因为无法预先知道对手）。(7) <strong>留出时间切分</strong>——用训练截止日期之后发布的数据（从时间上避免污染）。<strong>报告规范</strong>——(a) 报告<strong>多个基准</strong>（而非单一）；(b) 报告<strong>污染检测结果</strong>；(c) 报告<strong>评估配置</strong>（prompt、few-shot、采样参数）——否则不可比。<strong>与'推理模型'的关系</strong>——推理模型的评估更需注意 (a) 用<strong>新发布</strong>的竞赛题（如最新 AIME）、(b) 报告 <strong>pass@1 与 token 成本</strong>（而非 pass@k）。

深度剖析与工程权衡：① <strong>'静态基准必然失效'是必然趋势</strong>——只要公开就会被污染与过拟合；故<strong>动态评估是长期方向</strong>。面试中能指出这一点（而非只抱怨'基准不可信'）是深度理解的标志。② <strong>'程序生成的基准'是最有前景的方向</strong>——它 (a) 可无限生成（避免饱和）、(b) 难以污染（题目空间大）、(c) 难度可控、且 (d) <strong>可自动验证</strong>（答案由程序确定）；这使它同时具备'防污染'与'可自动评估'的优点。③ <strong>'在线评估'的不可替代性</strong>——最终产品的质量只能由真实用户衡量；故'离线基准 → 在线 A/B'是必要的闭环。④ <strong>'刷榜'的产业影响</strong>——团队可能为了'榜单好看'而优化基准（而非真实能力）；故<strong>评估设计</strong>本身需要'防作弊'（如私有集、动态题目）。⑤ <strong>'多基准交叉'的实用价值</strong>——单一基准的高分可能是偶然或污染；多个基准的一致性才是可信信号。⑥ <strong>面试要点</strong>——被问'基准还能信吗'，应给出'<strong>三类失效（污染/过拟合/饱和）+ 四类对策（动态/私有/程序生成/在线）+ 多基准交叉 + 报告规范</strong>'；能指出'程序生成 + 自动验证'是理想方向是深度理解的标志。