M2-015M2: 经典机器学习正则化Medium
⚡闪卡盲测➔掌握度:
解释早停(early stopping)为什么等价于某种正则化。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
限制参数从初始点出发的'有效搜索半径',与 L2 约束的可行域类似。
📌 核心要点提炼
- •用验证集早停 = 隐式正则
- •需设 patience 与监控指标
📐 数学机理与严密推导
等价性的直观论证:梯度下降的每步更新幅度为 η‖∇L‖,t 步后参数距初始点的距离被限制在 η·Σ‖∇L‖ 内——这等价于一个L2 约束的可行域(半径随步数增长)。因此'在验证误差开始上升时停止'与'限制参数范数'有相似的收缩效果。更严格的论证来自隐式正则视角:小学习率 + 有限步数的梯度下降倾向于收敛到平坦极小(flat minima),而平坦极小与更好的泛化相关(SAM 等工作即基于此)。此外,早停避免了显式正则化需要调 λ 的麻烦(用训练步数作为隐式正则强度),且计算成本只是评估验证集。
🏭 深度剖析与工业落地权衡
实践要点:① patience 与监控指标——不能一看到验证误差上升就停(噪声波动会误判),通常设 patience=5–20 个 epoch;监控指标应与最终目标一致(如不平衡数据看 PR-AUC 而非 accuracy)。② 与学习率调度的交互——cosine 衰减等调度会自然降低后期更新幅度,与早停有叠加效应;WSD(warmup-stable-decay)调度的 stable 阶段适合随时早停与分支实验。③ 与显式正则的关系——两者可叠加但需协调:若已有强 weight decay,早停的额外收益减小;反之若数据少、模型大,早停是最简单有效的防线。④ 陷阱——用测试集早停会泄漏(应严格用验证集);多次早停后报告最佳 epoch 的性能会有选择性偏差(需用独立测试集确认)。
⚠️ 常见面试陷阱与高频失分点
- ✕用测试集做早停(信息泄漏)
- ✕patience 设为 1(噪声波动导致过早停止)
🎯 面试官连环追问与延伸考察
- ?早停与学习率的关系?
- ?为什么早停能防止过拟合?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!