M2-069M2: 经典机器学习特征选择Medium
⚡闪卡盲测➔掌握度:

解释多重共线性下的特征选择策略

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-070 →
📐 核心数学机理公式
VIFj=11−Rj2\text{VIF}_j=\frac{1}{1-R_j^2}
⚡ 一句话直击要害答案
共线特征可任选其一或用正则(L2/EN)保留组信息;不宜按 p 值逐个删。

📌 核心要点提炼

  • •
    L1 在共线组中随机选一个(不稳定)
  • •
    ElasticNet/分组 Lasso 更稳

📐 数学机理与严密推导

共线下的问题:当两个特征高度相关时,它们的系数不可单独识别(有无穷多组系数给出相同的拟合),表现为系数方差巨大、符号不稳定、p 值不可靠。为什么不能按 p 值逐个删——因为 p 值本身在共线下就不可靠(标准误被 VIF 放大),按不可靠的指标做决策会误删真正重要的特征(且删除一个后另一个的 p 值会突变,导致决策反复)。四种策略:① 保留全部 + L2 正则(岭回归)——L2 把系数'均摊'到相关特征上(收缩但都保留),方差稳定,适合'预测优先、不需解释系数'的场景;② ElasticNet——L1+L2 结合,既稀疏又在相关组上稳定('分组效应':相关特征倾向同进同出);③ 分组 Lasso / 稀疏组 Lasso——显式把相关特征划为一组,整组选择或整组保留,符合'同组特征应同进同出'的直觉;④ PCA/降维——把相关特征合并为主成分(消除共线但牺牲可解释性)。

🏭 深度剖析与工业落地权衡

实践要点:① 诊断先行——计算 VIF(>10 严重)、条件数(>30 需注意)、相关矩阵,识别共线组;不要盲目删特征。② L1 的不稳定性机制——当两特征完全相关时,LASSO 的目标函数在'全给 A'与'全给 B'之间形成平坦的脊(ridge),数据微小扰动会使解跳到另一端;这是选择不稳定的根源。③ 业务导向的取舍——若两个共线特征中一个更易获取、更稳定、或业务含义更清晰,则保留它;这是'数据 + 业务'的综合决策,不能纯统计决定。④ 不要为了'系数显著'而删特征——这是常见的 p-hacking 形式;应明确研究目的:若为预测,保留并正则化;若为因果解释,需用专门方法(如工具变量、正交化)而非删特征。⑤ 树模型不受共线影响——树的分裂只依赖单特征的最优切分,共线不影响其预测性能(但会稀释重要度,见前文)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    按 p 值逐个删除共线特征
  • ✕
    用 LASSO 处理强共线特征组(选择不稳定)
🎯 面试官连环追问与延伸考察
  • ?
    为什么 L1 在共线时选择不稳定?
  • ?
    分组 Lasso 解决什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-068: 为什么“去掉无用特征”有时反而降低性能?📋 返回题库下一题 →M2-070: 如何评估特征选择的效果?需要注意什么