LLM Evaluation Benchmarks: 解释评估的统计显著性与样本量。

Core Concept: 小样本的分数差异可能是噪声；需报告置信区间、做显著性检验、多种子/多 prompt 变体，避免'看单点结论'。

数学机理：<strong>统计显著性的必要性</strong>——评估本质是<strong>抽样</strong>（用有限测试集估计真实能力）；故分数有<strong>不确定性</strong>。<strong>置信区间（CI）</strong>——对准确率 p̂（n 个样本中正确 k 个），其 95% CI 约 p̂ ± 1.96·√(p̂(1−p̂)/n)。<strong>关键推论</strong>：(a) n=100、p̂=0.5 时 CI 约 ±10%——<strong>10% 的差异可能是噪声</strong>；(b) n=1000 时 CI 约 ±3%；(c) n=10000 时约 ±1%。故'小测试集上的小幅差异'不可作为结论。<strong>为什么'最好结果'不可信</strong>——(a) <strong>选择偏差</strong>——报告'多个 prompt 中最好的那个'会高估（因为噪声被'择优'）；(b) <strong>单次采样</strong>——LLM 有随机性（温度、采样），单次结果的方差大；(c) <strong>测试集小</strong>——CI 宽。<strong>提升可信度的方法</strong>：(1) <strong>增大样本量</strong>（CI ∝ 1/√n）；(2) <strong>多种子/多采样</strong>——对同一配置多次运行（不同随机种子或采样），报告均值 ± 标准差；(3) <strong>多 prompt 变体</strong>——对同一任务用多个 prompt，报告<strong>均值与方差</strong>（而非最好）；(4) <strong>配对比较（paired comparison）</strong>——若比较两个模型，<strong>让它们回答同一批问题</strong>，比较'逐题胜负'（而非两个独立准确率）；配对设计<strong>消除了题目难度带来的方差</strong>（因为两个模型面对同样的题目），故统计效力更高（等价于'组内设计'）；(5) <strong>显著性检验</strong>——(a) <strong>McNemar 检验</strong>（配对二分类）；(b) <strong>bootstrap 置信区间</strong>（重采样估计 CI）；(c) <strong>t 检验/置换检验</strong>（连续指标）；(6) <strong>报告完整信息</strong>——样本量 n、CI、运行次数、prompt 配置。<strong>实践建议</strong>——(a) 关键结论需 n ≥ 1000（且配对比较）；(b) 报告 CI 而非单点；(c) 对'小幅提升'保持怀疑（可能不显著）；(d) 用<strong>同一测试集 + 同一评估流程</strong>比较模型（否则不可比）。<strong>与'基准失效'的关系</strong>——即使基准未被污染，<strong>小样本 + 单次运行</strong>也会得出错误结论；故统计严谨性是评估可信度的基础。

深度剖析与工程权衡：① <strong>'小样本上的差异多为噪声'是重要纪律</strong>——很多'模型 A 比 B 好 2%'的结论在小测试集上并不显著；故<strong>报告 CI 是基本要求</strong>。② <strong>'配对比较'显著提升统计效力</strong>——因为两个模型面对同样的题目，题目难度被消除；这是评估设计的核心技巧（Chatbot Arena 的成对比较即此）。③ <strong>'多 prompt 变体'揭示脆弱性</strong>——若同一模型在不同 prompt 下差异大（见提示脆弱性题），则'单 prompt 的最优结果'会高估能力；报告均值与方差更诚实。④ <strong>'采样随机性'的量化</strong>——推理模型（长 CoT）的随机性更大（采样更多 token）；故需多次运行（如 pass@1 用多次采样估计）。⑤ <strong>'显著性'与'实用性'的区别</strong>——统计显著不等于'实际有意义'（如 0.5% 的提升可能显著但无实际价值）；故需同时考虑<strong>效应量</strong>。⑥ <strong>面试要点</strong>——被问'如何让评估可信'，应给出'<strong>CI + 样本量 + 多种子/多 prompt + 配对比较 + 显著性检验</strong>'，并强调'<strong>不要报告最好结果、要报告均值与方差</strong>'与'<strong>配对比较提升统计效力</strong>'；能指出'统计显著 ≠ 实际有意义'是深度理解的标志。