Double Descent

Double Descent(双下降,Belkin et al. 2019)指测试误差随模型容量/参数量变化出现“两个下降段”的现象。第一阶段(欠参数化区,参数 $p$ < 样本数 $n$): 误差先随容量下降再上升,即经典 U 形曲线;在插值阈值($p \approx n$,模型刚好能记住所有训练样本)附近误差达到峰值——此时模型拟合了噪声,泛化最差;进入过参数化区($p > n$)后,测试误差反而随容量继续下降,出现第二个下降段。关键机理: 过参数化时存在无穷多个零训练误差(插值)的解,学习算法(如梯度下降)在其中选中的是“最小范数”解,其隐式正则化使泛化良好,出现“良性过拟合”。

解释现代深度学习“模型越大越好”的现象——大模型参数量远超样本量依然泛化良好;面试常问它与经典偏差-方差 U 形曲线的关系,以及为什么“插值 + 隐式正则”不违反无免费午餐定理。

经典 U 形曲线暗示“容量超过某一点后模型必然变差”,这与现代 LLM、大 CNN 的实际经验直接矛盾;double descent 说明泛化由“容量 + 算法选中的解”共同决定: 过参数化区中最小范数插值解等价于隐式正则,测试误差随容量增大单调改善——这与 scaling law 中“参数量 ↑ → 损失 ↓”的趋势一致(前提是数据量与优化器配合,如 SGD 偏向平坦极小、随机特征下的核方法)。

画出 double descent 曲线:标注欠参数化区、插值阈值、过参数化区三段,并与经典 U 形曲线对比。

为什么插值阈值($p \approx n$)附近误差最大?此时模型对训练噪声做了什么?

过参数化区为什么泛化反而变好?最小范数插值解与隐式正则化的关系是什么?

为什么大模型(参数量 ≫ 样本数)没有按 U 形曲线变差?与 scaling law 的联系是什么?

double descent 违反“无免费午餐”定理吗?它与偏差-方差分解如何调和?