M2-011M2: 经典机器学习正则化Easy
⚡闪卡盲测➔掌握度:

比较 L1、L2 与 ElasticNet 正则化的几何与效果差异。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-012 →
📐 核心数学机理公式
L1:λ∥w∥1,L2:λ∥w∥22,EN:λ1∥w∥1+λ2∥w∥22L1:\lambda\|w\|_1,\quad L2:\lambda\|w\|_2^2,\quad EN:\lambda_1\|w\|_1+\lambda_2\|w\|_2^2
⚡ 一句话直击要害答案
L1 稀疏(特征选择),L2 收缩(抗共线),ElasticNet 兼顾两者。

📌 核心要点提炼

  • •
    L1 在 0 处不可导 → 坐标下降/近端法
  • •
    L2 有闭式解且可微
  • •
    EN 在强相关特征组上更稳定

📐 数学机理与严密推导

几何视角最直观:约束形式 min‖y−Xw‖² s.t. ‖w‖₁≤t 的可行域是菱形(顶点在坐标轴上),L2 约束的可行域是圆(无顶点)。损失等高线(椭圆)与可行域首次相切处即最优解;菱形的尖角使切点极可能落在坐标轴上 → 某些 wⱼ=0(稀疏)。解析视角:L1 的最优性条件含次梯度 ∂|wⱼ|=[−1,1](当 wⱼ=0),这给出软阈值 wⱼ=sign(zⱼ)max(|zⱼ|−λ,0),即 |zⱼ|≤λ 的系数被精确置零;而 L2 的导数 2λwⱼ 在 0 处为 0,无法把系数推到零。

🏭 深度剖析与工业落地权衡

实践选择依据:① L1(LASSO)——需要特征选择、高维稀疏(文本、基因)、要求可解释性;缺点是相关特征组中只随机保留一个(选择不稳定)、解路径不连续、p>n 时最多选出 n 个非零系数。② L2(Ridge)——特征都相关且有贡献、共线性严重、p>n 场景;缺点是不产生稀疏解,模型包含全部特征。③ ElasticNet——两者结合,既稀疏又在相关特征组上稳定('分组效应':相关特征倾向于同进同出);代价是需调两个超参(λ₁、λ₂),可用 CV 在二维网格搜索。④ 算法差异——L1 不可微,用坐标下降(最常用,因每步有解析解)、近端梯度(ISTA/FISTA)、或 ADMM;L2 有闭式解或可直接用梯度法。⑤ 实践中:若只关心预测精度,L2 通常足够;若需特征选择,L1 或 ElasticNet;若特征间相关性强且需稀疏,优先 ElasticNet。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 L1 在相关特征上稳定(实际随机选一个)
  • ✕
    以为 L2 也能产生精确零(只收缩不置零)
🎯 面试官连环追问与延伸考察
  • ?
    高维稀疏场景选哪个?
  • ?
    为什么 L1 能产生精确 0?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-010: 如何处理逻辑回归中的完全分离(separation)问题?📋 返回题库下一题 →M2-012: 正则化系数 λ 如何选择?过大过小分别会怎样。