网格/随机/贝叶斯超参搜索对比

超参数优化搜索算法演进与预算分配数学模型（网格搜索 vs 随机搜索 vs 基于高斯过程的贝叶斯优化）体系 (Hyperparameter Optimization: Grid vs Random vs Bayesian Search) 是科研实验中在有限算力预算下系统化逼近全局最优超参数组合的方法论；三大主流搜索范式：1) 网格搜索 (Grid Search: 在离散网格上做笛卡尔积遍历，总组合数 $|G| = \prod m_i$ 随超参维度 $D$ 发生指数级维数灾难爆炸，仅适合 1~2 个离散参数)；2) 随机搜索 (Random Search / Bergstra 证明): 在连续对数均匀分布空间中随机采样，理论证明 $N=60$ 次独立随机试验即可有 95% 的极高概率捕捉到位于前 5% 表现区间内的超参数，在高维低有效维度下全面碾压网格搜索；3) 贝叶斯优化 (Bayesian Optimization / Tree-structured Parzen Estimators / Optuna): 采用高斯过程 (GP) 建模目标函数的后验概率分布，利用采集函数 (Acquisition Functions: 如期望改善 EI / 上置信界 UCB) 智能权衡“探索 (Exploration)”与“利用 (Exploitation)”，以极少实验轮次直达最优参数盆地。

深度学习骨干网络超参调优、强化学习复杂超参搜索、自动化机器学习 (AutoML)。

盲目人工试凑超参数极度低效且无法找到全局最优；搜索理论提供了严格的概率数学保证与极高的算力利用效率。

数学推导为什么在随机搜索中只需 $N=60$ 次采样即可有 $P = 1 - (1 - 0.05)^{60} \approx 0.9536$（超 95% 概率）命中前 5% 顶尖超参数区域？

高斯过程回归 (Gaussian Process Regression) 与采集函数 (Expected Improvement, EI: $\mathbb{E}[\max(0, f(x) - f(x^+))]$) 在贝叶斯优化中的计算步骤？

对数均匀采样 (Log-Uniform Sampling): 为什么对于学习率 $\eta \in [10^{-5}, 10^{-1}]$ 与权重衰减 $\lambda$，必须在对数空间而不是线性空间采样？

连续减半与 Hyperband 算法 (Successive Halving & Hyperband / ASHA): 如何通过“早期早停多轮淘汰弱配置”将搜索效率提升 10 倍？

在论文中公开超参数搜索空间 (Search Space) 与调优轮数 (Tuning Budget) 对保障科学诚信与消除过度调优偏置 (Over-tuning Bias) 的必要性？