M2-015M2: 经典机器学习正则化Medium
⚡闪卡盲测➔掌握度:

解释早停(early stopping)为什么等价于某种正则化。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-016 →
📐 核心数学机理公式
∥θt−θ0∥≤η∑t∥∇L∥ ∼ L2 ball\|\theta_t-\theta_0\|\le \eta\sum_t\|\nabla\mathcal L\|\ \sim\ \text{L2 ball}
⚡ 一句话直击要害答案
限制参数从初始点出发的'有效搜索半径',与 L2 约束的可行域类似。

📌 核心要点提炼

  • •
    用验证集早停 = 隐式正则
  • •
    需设 patience 与监控指标

📐 数学机理与严密推导

等价性的直观论证:梯度下降的每步更新幅度为 η‖∇L‖,t 步后参数距初始点的距离被限制在 η·Σ‖∇L‖ 内——这等价于一个L2 约束的可行域(半径随步数增长)。因此'在验证误差开始上升时停止'与'限制参数范数'有相似的收缩效果。更严格的论证来自隐式正则视角:小学习率 + 有限步数的梯度下降倾向于收敛到平坦极小(flat minima),而平坦极小与更好的泛化相关(SAM 等工作即基于此)。此外,早停避免了显式正则化需要调 λ 的麻烦(用训练步数作为隐式正则强度),且计算成本只是评估验证集。

🏭 深度剖析与工业落地权衡

实践要点:① patience 与监控指标——不能一看到验证误差上升就停(噪声波动会误判),通常设 patience=5–20 个 epoch;监控指标应与最终目标一致(如不平衡数据看 PR-AUC 而非 accuracy)。② 与学习率调度的交互——cosine 衰减等调度会自然降低后期更新幅度,与早停有叠加效应;WSD(warmup-stable-decay)调度的 stable 阶段适合随时早停与分支实验。③ 与显式正则的关系——两者可叠加但需协调:若已有强 weight decay,早停的额外收益减小;反之若数据少、模型大,早停是最简单有效的防线。④ 陷阱——用测试集早停会泄漏(应严格用验证集);多次早停后报告最佳 epoch 的性能会有选择性偏差(需用独立测试集确认)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用测试集做早停(信息泄漏)
  • ✕
    patience 设为 1(噪声波动导致过早停止)
🎯 面试官连环追问与延伸考察
  • ?
    早停与学习率的关系?
  • ?
    为什么早停能防止过拟合?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-014: BatchNorm 为什么也有正则化效果?它和 Dropout 能一起用吗。📋 返回题库下一题 →M2-016: 数据增强作为正则化手段的原理是什么?举例说明。