Evaluation Metrics & Hyperparameter Tuning: 解释超参调优的自动化工具与实践流程。

Core Concept: Optuna/Ray Tune 提供 TPE、Hyperband、ASHA 等算法；流程是分阶段（粗筛→精调）并按重要度排序。

主流工具与算法：① <strong>Optuna</strong>（TPE + 剪枝）——用<strong>树结构 Parzen 估计器（TPE）</strong> 建模'好配置'与'坏配置'的超参分布，按密度比采样（比随机搜索更聚焦）；支持<strong>剪枝</strong>（对表现差的试验提前终止）与分布式并行。② <strong>Ray Tune</strong>——支持多种搜索算法（ASHA、HyperBand、PBT）与大规模并行，适合集群环境。③ <strong>Hyperband/ASHA</strong>——<strong>连续减半</strong>（successive halving）：先用小预算评估大量配置，淘汰表现差的（保留 top 1/η），对幸存者加大预算，迭代直至只剩一个；<strong>ASHA 是异步版本</strong>（无需等待全部完成，适合异构并行）。④ <strong>PBT（Population Based Training）</strong>——在训练过程中动态调整超参（表现差的个体从好的个体继承参数并扰动），适合长训练任务。⑤ <strong>贝叶斯优化（GP 类）</strong>——用高斯过程建模，样本效率最高但难以并行、维度受限。<strong>选择依据</strong>：预算小 → 随机搜索；中等 → TPE/Hyperband；极大预算或集群 → ASHA/PBT。

实践流程与陷阱：① <strong>分阶段调参</strong>——(a) <strong>粗筛</strong>：用大范围随机搜索或 Hyperband 找有希望的区域；(b) <strong>精调</strong>：在局部用 TPE/贝叶斯优化细搜；(c) <strong>验证</strong>：用独立测试集或嵌套 CV 确认。② <strong>按重要度排序</strong>——先调<strong>学习率</strong>（最重要）、再调正则强度与模型容量、最后调次要参数；不要平均用力（见'超参重要度'题）。③ <strong>参数空间的设定</strong>——学习率、正则系数等应在<strong>对数尺度</strong>搜索；离散参数（优化器类型、激活函数）用<strong>类别分布</strong>；并设置合理边界（过宽浪费预算）。④ <strong>剪枝策略</strong>——用<strong>中位数剪枝</strong>（若某试验在中途的表现低于已完成试验的中位数则终止）能显著节省算力（常省 50%+）；但需注意<strong>早期表现差的配置可能后期反超</strong>（如小学习率起步慢），故剪枝应留足观察窗口。⑤ <strong>随机种子的处理</strong>——小数据/小模型上方差大，同一配置多次运行的差异可能超过配置间的差异；应<strong>多种子重复</strong>或至少对最终候选做多种子验证。⑥ <strong>常见陷阱</strong>——(a) 用测试集调参（泄漏）；(b) 搜索空间包含无效组合（浪费预算）；(c) 忽略参数交互（学习率与 batch size、学习率与调度需联合调）；(d) 过拟合验证集（在验证集上反复调参后，验证集也失去'独立'性，应用独立测试集确认）；(e) 不记录实验（无法复现与归因）——应使用实验管理工具记录所有配置与结果。