VIF 多重共线性

多重共线性指特征间存在高度线性相关, 使 $X^TX$ 接近奇异。VIF (方差膨胀因子) 定量诊断: 先把第 $j$ 个特征 $x_j$ 对其余 $p-1$ 个特征做线性回归得拟合优度 $R_j^2$, 则 $VIF_j = \frac{1}{1 - R_j^2}$。$R_j^2 \to 1$ 时 VIF 趋于无穷; 经验阈值: $VIF_j > 10$ (即 $R_j^2 > 0.9$) 视为严重共线性, $5 \sim 10$ 为中等。

建模前的特征诊断步骤 (可解释模型尤其必要, 树模型对共线性天然不敏感); 面试追问: 推导 $VIF_j$ 与系数方差的关系、与特征相关性/条件数的区别、共线性下模型预测为什么反而不差。

共线性把系数方差放大 $VIF_j$ 倍——OLS 中 $Var(\hat{w}_j) = \frac{\sigma^2}{(1 - R_j^2)\sum_i (x_{ij} - \bar{x}_j)^2}$, 分母的 $1-R_j^2$ 越小方差越大, 表现为系数符号反常、标准误巨大、t 检验失效; 但 $R^2$ 与预测能力基本不受影响, 只看预测指标会漏诊。处理: 剔除高 VIF 特征、PCA/因子分析降维、岭回归 ($X^TX + \lambda I$ 强制满秩)、或收集更多正交数据。

检验攻克程度：针对「VIF 多重共线性」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。