M2-119M2: 经典机器学习评估指标与超参调优Hard
⚡闪卡盲测➔掌握度:

解释超参调优的自动化工具与实践流程

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-001 →
📐 核心数学机理公式
TPE: p(h∣good) / p(h∣bad)\text{TPE}:\ p(h\mid \text{good})\ /\ p(h\mid \text{bad})
⚡ 一句话直击要害答案
Optuna/Ray Tune 提供 TPE、Hyperband、ASHA 等算法;流程是分阶段(粗筛→精调)并按重要度排序。

📌 核心要点提炼

  • •
    TPE 用核密度估计建模好坏配置的分布
  • •
    ASHA 用异步连续减半加速

📐 数学机理与严密推导

主流工具与算法:① Optuna(TPE + 剪枝)——用树结构 Parzen 估计器(TPE) 建模'好配置'与'坏配置'的超参分布,按密度比采样(比随机搜索更聚焦);支持剪枝(对表现差的试验提前终止)与分布式并行。② Ray Tune——支持多种搜索算法(ASHA、HyperBand、PBT)与大规模并行,适合集群环境。③ Hyperband/ASHA——连续减半(successive halving):先用小预算评估大量配置,淘汰表现差的(保留 top 1/η),对幸存者加大预算,迭代直至只剩一个;ASHA 是异步版本(无需等待全部完成,适合异构并行)。④ PBT(Population Based Training)——在训练过程中动态调整超参(表现差的个体从好的个体继承参数并扰动),适合长训练任务。⑤ 贝叶斯优化(GP 类)——用高斯过程建模,样本效率最高但难以并行、维度受限。选择依据:预算小 → 随机搜索;中等 → TPE/Hyperband;极大预算或集群 → ASHA/PBT。

🏭 深度剖析与工业落地权衡

实践流程与陷阱:① 分阶段调参——(a) 粗筛:用大范围随机搜索或 Hyperband 找有希望的区域;(b) 精调:在局部用 TPE/贝叶斯优化细搜;(c) 验证:用独立测试集或嵌套 CV 确认。② 按重要度排序——先调学习率(最重要)、再调正则强度与模型容量、最后调次要参数;不要平均用力(见'超参重要度'题)。③ 参数空间的设定——学习率、正则系数等应在对数尺度搜索;离散参数(优化器类型、激活函数)用类别分布;并设置合理边界(过宽浪费预算)。④ 剪枝策略——用中位数剪枝(若某试验在中途的表现低于已完成试验的中位数则终止)能显著节省算力(常省 50%+);但需注意早期表现差的配置可能后期反超(如小学习率起步慢),故剪枝应留足观察窗口。⑤ 随机种子的处理——小数据/小模型上方差大,同一配置多次运行的差异可能超过配置间的差异;应多种子重复或至少对最终候选做多种子验证。⑥ 常见陷阱——(a) 用测试集调参(泄漏);(b) 搜索空间包含无效组合(浪费预算);(c) 忽略参数交互(学习率与 batch size、学习率与调度需联合调);(d) 过拟合验证集(在验证集上反复调参后,验证集也失去'独立'性,应用独立测试集确认);(e) 不记录实验(无法复现与归因)——应使用实验管理工具记录所有配置与结果。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    在对数尺度之外搜索学习率
  • ✕
    用测试集做超参搜索(泄漏)
🎯 面试官连环追问与延伸考察
  • ?
    如何选择搜索算法?
  • ?
    调参的常见陷阱有哪些?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-118: 解释多指标权衡与综合指标(OEC)的设计📋 返回题库下一题 →M3-001: 解释计算图与自动微分的两种模式(前向/反向)