L1/L2 正则化几何

正则化等价于在损失上加惩罚项或用约束域限制解: $\min_w L(w)$ s.t. $\Vert w\Vert_p \le t$。L2(岭回归): 惩罚 $\frac{\lambda}{2}\Vert w\Vert_2^2$,约束域是球;损失等高线(由数据决定的椭圆)与球面的切点处所有坐标被均匀缩小但一般不为 0。闭式解 $w^* = (X^TX + \lambda I)^{-1}X^Ty$,经 SVD $X = U\Sigma V^T$ 可写为 $w^* = V(\Sigma^T\Sigma + \lambda I)^{-1}\Sigma^TU^Ty$,即每个特征方向乘收缩因子 $\frac{\sigma_i^2}{\sigma_i^2 + \lambda}$——小奇异值方向被压缩最多,同时保证 $X^TX + \lambda I$ 满秩可逆。L1(Lasso): 约束域 $\Vert w\Vert_1 \le t$ 是菱形(高维为超立方体),顶点恰好落在坐标轴上;损失椭圆与菱形相切时,最优点往往位于顶点或棱上 → 部分坐标恰为 0 → 稀疏解。

高维特征选择(L1)、病态/共线 $X^TX$ 求逆不稳定(L2)、面试“为什么 L1 产生稀疏解”的几何与贝叶斯双重解释。

贝叶斯视角下,正则化 = 先验的 MAP。L2 等价于高斯先验 $w \sim \mathcal{N}(0, \tau^2 I)$(取 $\lambda = \sigma^2/\tau^2$): $\hat w_{MAP} = \arg\max_w -\frac{1}{2\sigma^2}\Vert y - Xw\Vert^2 - \frac{1}{2\tau^2}\Vert w\Vert^2$,高斯先验尾部平滑、众数无尖峰 → 权重全缩小但非零;L1 等价于拉普拉斯先验 $p(w) \propto e^{-\lambda|w|}$,其密度在 0 处有尖峰(概率质量集中于 0 附近)→ 后验众数偏向把权重置 0。正则化降低方差(缓解过拟合)、使解唯一,代价是引入偏差。

检验攻克程度：针对「L1/L2 正则化几何」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。