Double Descent

Double Descent(双下降,Belkin et al. 2019)指测试误差随模型容量/参数量变化出现“两个下降段”的现象。第一阶段(欠参数化区,参数 $p$ < 样本数 $n$): 误差先随容量下降再上升,即经典 U 形曲线;在插值阈值($p \approx n$,模型刚好能记住所有训练样本)附近误差达到峰值——此时模型拟合了噪声,泛化最差;进入过参数化区($p > n$)后,测试误差反而随容量继续下降,出现第二个下降段。关键机理: 过参数化时存在无穷多个零训练误差(插值)的解,学习算法(如梯度下降)在其中选中的是“最小范数”解,其隐式正则化使泛化良好,出现“良性过拟合”。

解释现代深度学习“模型越大越好”的现象——大模型参数量远超样本量依然泛化良好;面试常问它与经典偏差-方差 U 形曲线的关系,以及为什么“插值 + 隐式正则”不违反无免费午餐定理。

经典 U 形曲线暗示“容量超过某一点后模型必然变差”,这与现代 LLM、大 CNN 的实际经验直接矛盾;double descent 说明泛化由“容量 + 算法选中的解”共同决定: 过参数化区中最小范数插值解等价于隐式正则,测试误差随容量增大单调改善——这与 scaling law 中“参数量 ↑ → 损失 ↓”的趋势一致(前提是数据量与优化器配合,如 SGD 偏向平坦极小、随机特征下的核方法)。

检验攻克程度：针对「Double Descent」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。