偏差-方差权衡与过拟合诊断

偏差-方差权衡与过拟合诊断 (Bias-Variance Tradeoff & Overfitting Diagnostics) 是机器学习算法工程师评估模型泛化误差与调优容量复杂度的第一性原理；期望预测误差可严格分解为三部分：$\mathbb{E}[(y - \hat{f}(x))^2] = \text{Bias}^2(\hat{f}(x)) + \text{Variance}(\hat{f}(x)) + \sigma^2$（其中 $\sigma^2$ 为不可约减的固有噪声）；高偏差 (欠拟合 Underfitting) 表现为训练集与验证集 Loss 均高且平缓，需提升模型容量 (增加层数/特征交叉/减小正则)；高方差 (过拟合 Overfitting) 表现为训练集 Loss 极低但验证集 Loss 显著偏高且 Gap 持续扩大，需引入数据增强、L1/L2 正则化、Dropout 或增加数据。

模型训练过程中的 Loss 曲线诊断、容量复杂度调优、面试白板泛化误差推导与正则化选型。

盲目调整超参数或堆叠网络层数容易导致模型在验证集上发生严重过拟合；偏差-方差分解提供了清晰的定量诊断指标，指导工程师采取正确的正则化或扩容策略。

详细推导均方误差的偏差-方差分解公式：$\mathbb{E}[(y - \hat{f})^2] = (\mathbb{E}[\hat{f}] - f)^2 + \mathbb{E}[(\hat{f} - \mathbb{E}[\hat{f}])^2] + \sigma^2$？

画出训练集规模与误差之间的“学习曲线 (Learning Curves)”：如何根据曲线渐近线形态区分高偏差与高方差？

L1 正则 (Lasso: 产生稀疏解) 与 L2 正则 (Ridge: 权重衰减平滑) 在贝叶斯先验视角 (Laplace vs Gaussian) 下的几何与数学推导？

现代深度学习中的“双重下降现象 (Double Descent: 当模型参数量超过插值阈值后，测试误差再次下降)”的机理解释？

早停策略 (Early Stopping) 的耐心轮数 (Patience) 设置与 Checkpoint 权重平滑 (EMA: Exponential Moving Average)？