M2-003M2: 经典机器学习线性回归Medium
⚡闪卡盲测➔掌握度:

解释多重共线性,它如何影响系数估计与显著性检验。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-004 →
📐 核心数学机理公式
Var(w^j)=σ2(1−Rj2)∑(xij−xˉj)2\mathrm{Var}(\hat w_j)=\frac{\sigma^2}{(1-R_j^2)\sum(x_{ij}-\bar x_j)^2}
⚡ 一句话直击要害答案
特征高度相关 → XᵀX 接近奇异 → 系数方差爆炸、符号不稳定,但预测仍可能准。

📌 核心要点提炼

  • •
    VIF>10 通常视为严重共线
  • •
    缓解:删特征、PCA、岭回归

📐 数学机理与严密推导

方差膨胀的数学来源:由 Var(ŵ)=σ²(XᵀX)⁻¹,其对角元可写成 Var(ŵⱼ)=σ²/[(1−Rⱼ²)Σ(xᵢⱼ−x̄ⱼ)²],其中 Rⱼ² 是第 j 个特征对其余所有特征回归的 R²。当特征高度相关时 Rⱼ²→1,分母→0,方差→无穷。定义 VIFⱼ=1/(1−Rⱼ²) 度量膨胀倍数:VIF=10 意味着方差被放大 10 倍(Rⱼ²=0.9),标准误放大 √10≈3.16 倍,故原本显著的系数可能变得不显著。关键区分:共线性不影响预测(因为 Xw 的组合是稳定的,只是分解方式不唯一),但严重影响系数解释与显著性检验。

🏭 深度剖析与工业落地权衡

三个实践要点:① 诊断——VIF>10(严格些用 >5)、条件数 κ(X)>30、相关系数矩阵;② 处理——删除冗余特征(保留解释性更强的)、PCA/PLS(牺牲可解释性换稳定性)、岭回归(加 λI 使可逆,且把方差'均摊'到相关特征上)、或把相关特征合并为综合指标;③ 为什么 L1 在这里不稳——LASSO 在相关特征组中只随机保留一个,换个样本可能选中另一个,选择结果不稳定;ElasticNet 或分组 LASSO 更合适。特别注意:共线时系数的符号可能反直觉(如'教育年限'与'收入'都为正相关,但同时放入回归后其中一个系数可能为负),这不是 bug 而是方差膨胀的表现,此时不应解读单个系数。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为共线会降低预测精度
  • ✕
    共线时仍解读单个系数的符号与大小
🎯 面试官连环追问与延伸考察
  • ?
    为什么共线时预测准但系数不可解释?
  • ?
    VIF 的定义与阈值?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-002: 列举线性回归的四大假设,并说明违反后果。📋 返回题库下一题 →M2-004: 岭回归为什么能缓解共线性?写出它的解。