M2-089M2: 经典机器学习评估指标与超参调优Hard
⚡闪卡盲测➔掌握度:

如何处理调参中的随机性(种子方差)?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-090 →
📐 核心数学机理公式
σ^seed2=1S∑s(perfs−perfˉ)2\hat\sigma^2_{seed}=\frac1S\sum_s(\mathrm{perf}_s-\bar{\mathrm{perf}})^2
⚡ 一句话直击要害答案
多次随机种子重复评估,报告均值与标准差;用配对检验比较模型。

📌 核心要点提炼

  • •
    小数据/小模型方差大,需多seed
  • •
    报告置信区间而非单点最优

📐 数学机理与严密推导

随机性来源与影响:① 初始化——不同的随机初始化会收敛到不同的局部解,性能差异在小模型上可达数个百分点;② 数据划分/采样顺序——K 折的划分、SGD 的样本顺序、数据增强的随机性;③ dropout/正则——训练时的随机性;④ 硬件非确定性——浮点累加顺序(尤其在 GPU 并行归约时)。为什么重要:若用单次运行的结果比较两个模型,观测到的差异可能完全来自随机噪声——'模型 A 比 B 好 0.5%'可能只是 A 恰好抽到好种子。这在小数据、小模型、短训练时尤其严重(方差大)。标准做法:对每个配置用多个随机种子(S=3–10,视方差与成本而定)重复训练,报告均值 ± 标准差(或标准误、置信区间),而非单点最优值。

🏭 深度剖析与工业落地权衡

实践要点:① 种子数的选择——方差大时需更多种子;可用'序贯测试'(先跑 3 个种子,若差异显著则停止,否则加种子)。② 配对检验——比较两个模型时,应使用相同的种子/数据划分(配对设计),这样能消除共同的随机性、提高检验功效;用配对 t 检验或 Wilcoxon 符号秩检验,而非独立样本检验。③ 不要报'最优种子'——报告所有种子的均值与方差(报最优是选择性偏差,会高估性能);若必须报单点,报中位数而非最大值。④ 选择偏差——在大量配置中挑'验证集最好的'会高估真实性能(见'选择性偏差'题);应用独立测试集或嵌套 CV 确认。⑤ 减小随机性的手段——确定性算法(如全批量梯度下降)、固定所有随机种子、关闭非确定性算子(torch.use_deterministic_algorithms);但需注意确定性可能降低性能或速度。⑥ 报告规范——论文/报告中应说明种子数、是否配对、方差来源分解;仅在差异超过方差时才声称改进。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用单次运行结果比较模型(噪声主导)
  • ✕
    报告最优种子的性能(选择性偏差)
🎯 面试官连环追问与延伸考察
  • ?
    为什么单次结果不可靠?
  • ?
    如何用配对检验比较两个模型?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-088: 什么是超参的重要度排序?如何高效调参📋 返回题库下一题 →M2-090: 线上评估与离线评估为什么会不一致?如何缩小差距