M2-004M2: 经典机器学习线性回归Medium
⚡闪卡盲测➔掌握度:
岭回归为什么能缓解共线性?写出它的解。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
在 XᵀX 上加 λI 使其可逆,同时收缩系数、稳定方差。
📌 核心要点提炼
- •λ 越大收缩越强、偏差越大方差越小
- •对系数做正交不变缩放时需标准化特征
📐 数学机理与严密推导
岭回归的解可由 SVD 看清:若 X=UΣVᵀ,则 ŵ_ridge=Σᵢ σᵢ/(σᵢ²+λ)·vᵢuᵢᵀy,而 OLS 解是 Σᵢ (1/σᵢ)·vᵢuᵢᵀy。对比可见:岭回归把 1/σᵢ 替换为 σᵢ/(σᵢ²+λ),即对小奇异值方向施加强收缩(σᵢ→0 时该方向贡献趋于 0),对大奇异值方向几乎不收缩(σᵢ²≫λ 时 ≈1/σᵢ)。这精确对应'共线方向(小奇异值)不稳定 → 压掉它'的策略。等价地,加 λI 把 (XᵀX) 的最小特征值从 λ_min 抬到 λ_min+λ,条件数从 λ_max/λ_min 降到 (λ_max+λ)/(λ_min+λ),λ 越大条件数越小、数值越稳。
🏭 深度剖析与工业落地权衡
权衡与实现要点:① 偏差-方差权衡——λ 增大降低方差但引入偏差(系数被系统性收缩向 0),最优 λ 由交叉验证选择;注意岭回归不产生精确零(它只收缩),故不做特征选择。② 特征标准化是必须的——岭回归的收缩强度与特征尺度相关,若特征量纲不同,惩罚会不成比例地作用于小尺度特征(等价于对不同特征施加不同强度的惩罚),因此必须先标准化(这也是与 OLS 的重要差异:OLS 对特征线性变换不变,岭回归不是)。③ 与主成分回归的关系——岭回归相当于对不同主成分方向施加相同的相对收缩,而 PCR 是直接丢弃小主成分;岭回归通常表现更好(因为它平滑收缩而非硬截断)。④ 贝叶斯解释——岭回归 ≡ 高斯先验下的 MAP 估计,λ=σ²/τ²。
⚠️ 常见面试陷阱与高频失分点
- ✕未标准化特征就做岭回归
- ✕用岭回归做特征选择(应改 LASSO)
🎯 面试官连环追问与延伸考察
- ?岭回归为什么不做特征选择?
- ?λ 如何选择?(交叉验证)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!