VIF 多重共线性

多重共线性指特征间存在高度线性相关, 使 $X^TX$ 接近奇异。VIF (方差膨胀因子) 定量诊断: 先把第 $j$ 个特征 $x_j$ 对其余 $p-1$ 个特征做线性回归得拟合优度 $R_j^2$, 则 $VIF_j = \frac{1}{1 - R_j^2}$。$R_j^2 \to 1$ 时 VIF 趋于无穷; 经验阈值: $VIF_j > 10$ (即 $R_j^2 > 0.9$) 视为严重共线性, $5 \sim 10$ 为中等。

建模前的特征诊断步骤 (可解释模型尤其必要, 树模型对共线性天然不敏感); 面试追问: 推导 $VIF_j$ 与系数方差的关系、与特征相关性/条件数的区别、共线性下模型预测为什么反而不差。

共线性把系数方差放大 $VIF_j$ 倍——OLS 中 $Var(\hat{w}_j) = \frac{\sigma^2}{(1 - R_j^2)\sum_i (x_{ij} - \bar{x}_j)^2}$, 分母的 $1-R_j^2$ 越小方差越大, 表现为系数符号反常、标准误巨大、t 检验失效; 但 $R^2$ 与预测能力基本不受影响, 只看预测指标会漏诊。处理: 剔除高 VIF 特征、PCA/因子分析降维、岭回归 ($X^TX + \lambda I$ 强制满秩)、或收集更多正交数据。

推导 VIF: 为什么 $VIF_j = \frac{1}{1-R_j^2}$? $R_j^2$ 从哪来, 阈值 10 对应 $R_j^2$ 等于多少?

推导 OLS 系数方差公式 $Var(\hat{w}_j) = \frac{\sigma^2}{(1-R_j^2)\sum_i (x_{ij}-\bar{x}_j)^2}$, 解释共线性如何膨胀方差。

多重共线性下模型预测仍然很好, 为什么? 它主要伤害什么 (系数解释/标准误/t 检验/特征重要性)?

处理共线性的方案对比: 剔除特征 vs PCA 降维 vs 岭回归, 各自代价与适用场景。

VIF、特征两两相关性和条件数 $\kappa(X) = \frac{\lambda_{max}}{\lambda_{min}}$ 三个指标的区别与联系, 树模型为什么不怕共线性?