M2-096M2: 经典机器学习正则化Medium
⚡闪卡盲测➔掌握度:
解释 L1 与 L2 正则化的贝叶斯解释
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
L2 = 高斯先验下的 MAP;L1 = Laplace 先验下的 MAP;正则强度 = 先验方差的倒数。
📌 核心要点提炼
- •λ = 1/(2τ²)(高斯)或 λ = 1/b(Laplace)
- •Laplace 在 0 处的尖峰 ⇒ 稀疏
📐 数学机理与严密推导
推导:MAP 估计最大化 log p(D|w)+log p(w)。① 高斯先验 p(w)=N(0,τ²I) → log p(w)=−‖w‖²/(2τ²)+const → 目标变为 log 似然 − λ‖w‖²,其中 λ=1/(2τ²),即 L2 正则(岭回归/权重衰减);② Laplace 先验 p(w)∝exp(−|w|/b) → log p(w)=−‖w‖₁/b → 目标变为 log 似然 − λ‖w‖₁,即 L1 正则(LASSO)。为什么 Laplace 导致稀疏:Laplace 分布在 w=0 处有尖峰(不可导的角点),其对数先验在该点的'梯度'有跳变;当似然项对某系数的'推力'不够强时,后验众数恰好落在角点上(w=0)。相比之下高斯先验在 0 处平滑(导数为 0),后验众数只会被'收缩'但不会恰好为零。这给出了 L1 稀疏性的概率解释(与几何解释——菱形可行域的顶点——相互印证)。
🏭 深度剖析与工业落地权衡
这一视角的实践价值:① 正则强度 = 先验信念强度——λ 大对应先验方差小(强信念'系数应接近 0'),λ 小对应弱先验趋近 MLE;这解释了为什么数据量增加时最优 λ 应减小(先验被数据稀释)。② 选择先验的依据——若认为'多数特征确实无关'(稀疏真值),用 Laplace(L1);若认为'所有特征都有小贡献',用高斯(L2);若不确定,用 ElasticNet(混合先验)或层次先验(Horseshoe 先验,自适应稀疏)。③ 完整贝叶斯 vs MAP——MAP 只取后验众数(丢弃不确定性);完整贝叶斯需对后验积分(如贝叶斯线性回归的后验预测分布),能得到预测的不确定性估计,但计算更贵。④ 对超参的先验——λ 本身也可加先验(层次贝叶斯),用经验贝叶斯或 MCMC 自动确定,避免交叉验证的成本。⑤ 与深度学习的关系——weight decay 就是高斯先验(这解释了为什么它对所有权重同等收缩),而稀疏先验(L1、Horseshoe)在需要剪枝的场景更有用;此外 LoRA 的零初始化可理解为'强先验:增量应为 0'。
⚠️ 常见面试陷阱与高频失分点
- ✕认为正则化只是'防止过拟合的技巧'(它有明确的先验解释)
- ✕在高斯先验下期待稀疏解
🎯 面试官连环追问与延伸考察
- ?为什么 Laplace 先验导致稀疏?
- ?这与'正则化就是加先验'如何统一?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!