M2-012M2: 经典机器学习正则化Easy
⚡闪卡盲测➔掌握度:
正则化系数 λ 如何选择?过大过小分别会怎样。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用交叉验证选择;λ 过大 → 欠拟合(高偏差),过小 → 过拟合(高方差)。
📌 核心要点提炼
- •1SE 规则倾向更简单的模型
- •用对数网格搜索
📐 数学机理与严密推导
λ 的作用是控制偏差-方差权衡:λ→0 时退化为无正则的 MLE(低偏差高方差,过拟合);λ→∞ 时所有系数收缩到 0(高偏差低方差,欠拟合)。选择方法是交叉验证:在对数尺度上网格搜索(如 λ∈{10⁻⁴,…,10⁴},通常 100 个点),对每个 λ 计算 K 折 CV 误差,取最小者。选择对数网格的原因:λ 的效应是乘性的(λ 与 2λ 的差异类似 100λ 与 200λ),且最优 λ 的量级跨越多个数量级。
🏭 深度剖析与工业落地权衡
三个实践要点:① 1SE 规则——不取 CV 误差最小的 λ,而取'误差在最小值 1 个标准误内的最大 λ',即更简单的模型。理由是 CV 误差曲线在最小值附近很平坦,而更大 λ 带来更好的泛化稳定性(Occam 剃刀);这在特征选择场景尤其重要(减少假阳性特征)。② λ 与数据的尺度相关——若特征未标准化,λ 的最优值会随量纲变化;因此标准化后再调 λ。③ 嵌套 CV 的必要性——若用同一份数据既选 λ 又报告性能,会得到乐观偏差的估计(因为 λ 被选为对这份数据最优);正确做法是外层 CV 评估性能、内层 CV 选 λ。此外,正则化路径(λ 从大到小)的计算可用热启动(warm start)加速——坐标下降从上一个 λ 的解出发,使整条路径的计算成本接近单个 λ。
⚠️ 常见面试陷阱与高频失分点
- ✕未标准化特征就调 λ
- ✕用同一份 CV 结果既选 λ 又报告性能(乐观偏差)
🎯 面试官连环追问与延伸考察
- ?为什么用 1SE 规则?
- ?嵌套交叉验证解决什么问题?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!