M2-087M2: 经典机器学习评估指标与超参调优Medium
⚡闪卡盲测➔掌握度:
比较网格搜索、随机搜索与贝叶斯优化
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
网格穷举但指数爆炸;随机搜索在高维更高效;贝叶斯优化用代理模型指导采样。
📌 核心要点提炼
- •随机搜索在低有效维度下接近最优
- •Hyperband/ASHA 用早停加速
📐 数学机理与严密推导
三种方法的对比:① 网格搜索——在每个超参的离散网格上穷举。缺点:维度诅咒——p 个超参各取 k 个值需 k^p 次评估(p=5、k=5 时 3125 次);且若某些超参不重要,网格在它们上面的取值组合浪费了大量评估。② 随机搜索(Bergstra & Bengio 2012)——在超参空间随机采样。关键洞察:若只有少数超参真正重要('低有效维度'),随机搜索在相同预算下能覆盖更重要超参的更多取值——因为网格在重要维度上的取值数被不重要维度'摊薄'。理论上随机搜索优于网格搜索,且实现简单、天然可并行。③ 贝叶斯优化——用代理模型(高斯过程或 TPE)建模'超参→性能'的函数,用采集函数(如 EI:期望改进)选择下一个评估点,平衡探索(不确定性高的区域)与利用(当前最优附近)。优点:在评估昂贵时(如训练大模型)样本效率最高;缺点:实现复杂、难以并行(每次选择依赖前次结果)、对高维(>20 维)效果下降。
🏭 深度剖析与工业落地权衡
实践要点与选择:① 优先随机搜索——简单、可并行、在多数场景与贝叶斯优化接近;是默认起点。② 贝叶斯优化的适用——单次评估昂贵(数小时到数天)、维度较低(<20)、串行可接受时;常用工具 Optuna(TPE)、Ax/BoTorch(GP)。③ 早停加速——Hyperband 用'连续减半'(successive halving):先用小预算评估大量配置,淘汰差的,对好的加大预算;ASHA 是异步版本(无需等待全部完成,适合并行)。这类方法利用'差的配置在小预算下就能看出'的性质,比纯搜索快数倍。④ 参数空间的设定——学习率等参数应在对数尺度上搜索(数量级差异比线性差异更重要);并设置合理范围(过宽浪费预算)。⑤ 并行与异步——网格/随机天然并行;贝叶斯优化需特殊处理(如批量采集函数、异步 BO);Hyperband/ASHA 天然适合异步并行。⑥ 调参顺序——先调最重要的超参(学习率、正则强度、模型容量),再调次要的;可先粗后细(多阶段)。⑦ 随机种子的影响——小数据/小模型上方差大,需多次种子重复评估,否则调参会被噪声主导。
⚠️ 常见面试陷阱与高频失分点
- ✕在低维空间用网格搜索(随机搜索更高效)
- ✕在线性尺度上搜索学习率(应对数尺度)
🎯 面试官连环追问与延伸考察
- ?为什么随机搜索优于网格搜索?
- ?Hyperband 的核心思想?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!