Linear Regression: 岭回归为什么能缓解共线性？写出它的解。

Core Concept: 在 XᵀX 上加 λI 使其可逆，同时收缩系数、稳定方差。

岭回归的解可由 SVD 看清：若 X=UΣVᵀ，则 ŵ_ridge=Σᵢ σᵢ/(σᵢ²+λ)·vᵢuᵢᵀy，而 OLS 解是 Σᵢ (1/σᵢ)·vᵢuᵢᵀy。对比可见：岭回归把 <strong>1/σᵢ 替换为 σᵢ/(σᵢ²+λ)</strong>，即对小奇异值方向施加<strong>强收缩</strong>（σᵢ→0 时该方向贡献趋于 0），对大奇异值方向几乎不收缩（σᵢ²≫λ 时 ≈1/σᵢ）。这精确对应'共线方向（小奇异值）不稳定 → 压掉它'的策略。等价地，加 λI 把 (XᵀX) 的最小特征值从 λ_min 抬到 λ_min+λ，条件数从 λ_max/λ_min 降到 (λ_max+λ)/(λ_min+λ)，λ 越大条件数越小、数值越稳。

权衡与实现要点：① <strong>偏差-方差权衡</strong>——λ 增大降低方差但引入偏差（系数被系统性收缩向 0），最优 λ 由交叉验证选择；注意岭回归<strong>不产生精确零</strong>（它只收缩），故不做特征选择。② <strong>特征标准化是必须的</strong>——岭回归的收缩强度与特征尺度相关，若特征量纲不同，惩罚会不成比例地作用于小尺度特征（等价于对不同特征施加不同强度的惩罚），因此必须先标准化（这也是与 OLS 的重要差异：OLS 对特征线性变换不变，岭回归不是）。③ <strong>与主成分回归的关系</strong>——岭回归相当于对不同主成分方向施加<strong>相同的相对收缩</strong>，而 PCR 是直接丢弃小主成分；岭回归通常表现更好（因为它平滑收缩而非硬截断）。④ <strong>贝叶斯解释</strong>——岭回归 ≡ 高斯先验下的 MAP 估计，λ=σ²/τ²。