偏差方差分解

偏差-方差分解把测试均方误差拆成三项: $\text{EGE} = \text{Bias}^2 + \text{Var} + \sigma^2$。设真实关系 $y = f^*(x) + \epsilon$,其中 $\mathbb{E}[\epsilon] = 0$、$\text{Var}(\epsilon) = \sigma^2$ 且 $\epsilon$ 与输入独立;模型 $\hat f$ 在随机训练集 $D$ 上拟合,定义 $\bar f(x) = \mathbb{E}_D[\hat f(x)]$。完整证明(对固定 $x$): 先改写误差 $y - \hat f = (f^* + \epsilon) - \hat f = \epsilon + (f^* - \hat f)$,展开平方: $\mathbb{E}[(y - \hat f)^2] = \mathbb{E}[\epsilon^2] + 2\mathbb{E}[\epsilon(f^* - \hat f)] + \mathbb{E}[(f^* - \hat f)^2]$。交叉项消去: $\epsilon$ 独立于训练集 $D$(从而独立于 $\hat f$)且 $\mathbb{E}[\epsilon] = 0$,故 $2\mathbb{E}[\epsilon(f^* - \hat f)] = 2\mathbb{E}[\epsilon]\mathbb{E}[f^* - \hat f] = 0$。第三项再展开: 在 $f^* - \hat f = (f^* - \bar f) + (\bar f - \hat f)$ 上取 $\mathbb{E}_D$,交叉项 $2(f^* - \bar f)\mathbb{E}_D[\bar f - \hat f] = 2(f^* - \bar f)(\bar f - \bar f) = 0$,于是 $\mathbb{E}_D[(f^* - \hat f)^2] = (f^* - \bar f)^2 + \mathbb{E}_D[(\hat f - \bar f)^2] = \text{Bias}^2 + \text{Var}$。合并三项得 $\text{EGE} = \text{Bias}^2 + \text{Var} + \sigma^2$,其中 $\sigma^2$ 为不可约噪声,任何模型都无法降低。

面试“为什么复杂模型过拟合/欠拟合”的标准框架: 模型越复杂,偏差越低(假设空间覆盖真实函数的能力强)、方差越高(对训练集的敏感度大);也用于解释 bagging(降方差)、boosting(降偏差)、正则化(增偏差降方差)。

提供模型容量选择的定量诊断: 训练误差低而测试误差高 → 方差主导 → 加数据/正则化/bagging;训练测试都高 → 偏差主导 → 增加容量/特征。注意: 分解对每个固定 $x$ 成立,一般再对输入分布取期望;对分类问题(0-1 损失)分解不成立,需用 Brier 分数等可分解的替代。

白板证明 $\mathbb{E}[(y-\hat f)^2] = \text{Bias}^2 + \text{Var} + \sigma^2$:写出展开、两次交叉项消去($\mathbb{E}[\epsilon] = 0$ 与 $\mathbb{E}_D[\hat f] = \bar f$)的每一步。

交叉项 $2\mathbb{E}[\epsilon(f^* - \hat f)]$ 为什么为 0?依赖哪些独立性/期望假设?噪声 $\sigma^2$ 为什么不可约?

模型复杂度增大时 Bias 与 Var 各自如何变化?欠拟合与过拟合分别由哪一项主导?

用分解式解释: bagging 为什么主要降方差?boosting 为什么主要降偏差?

该分解对分类(0-1 损失)为什么不成立?可以用什么替代(Brier score)?