M2-091M2: 经典机器学习特征选择Hard
⚡闪卡盲测➔掌握度:
在神经网络中如何评估特征重要性?与树模型的方法有何不同?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用梯度/输入×梯度、置换、消融、或注意力/门控;比树模型更贵且更不稳定,需多种子重复。
📌 核心要点提炼
- •梯度类方法局部、易受饱和影响
- •置换与消融是模型无关的通用方法
📐 数学机理与严密推导
神经网络的特征重要度有四类方法:① 梯度类——计算 ∂f/∂xᵢ(显著性图 / Saliency),或 Integrated Gradients(IG)(沿从基线到输入的路径积分梯度,满足完备性公理:各特征归因之和 = f(x)−f(baseline));优点是快(一次反向);缺点是局部(只在当前点有效)、在饱和区梯度为 0(ReLU/sigmoid 饱和时误判为不重要)、且对噪声敏感。② 输入×梯度(Gradient×Input)——缓解纯梯度的尺度问题(考虑特征值大小),是 DeepLIFT/IG 的简化版。③ 置换重要度——在验证集上打乱某特征,看性能下降(模型无关、通用,但需 O(p) 次前向,且相关特征下被稀释)。④ 消融(Ablation)——把特征置零/置均值后重测,最严谨但最贵。⑤ 结构类方法——注意力权重(Transformer 中常用,但研究表明注意力权重与重要度相关性弱,不能直接当解释)、门控机制(软特征选择层)、输入层 L1 正则(促使权重稀疏)。
🏭 深度剖析与工业落地权衡
与树模型的差异与实践要点:① 稳定性——树模型的重要度是确定性的(给定训练数据);神经网络的重要度依赖初始化、训练随机性与解释方法的超参,必须多种子重复并报告方差,单次结果不可信。② 局部 vs 全局——梯度类方法是局部解释(针对单个样本),需聚合多个样本才能得到全局重要度;树模型的重要度天然是全局的。③ 相关特征的稀释——与树模型一样,神经网络的重要度也受相关特征稀释影响;应配合分组置换或 SHAP(DeepSHAP/GradientSHAP 是神经网络版的 SHAP)。④ 注意力权重的陷阱——Jain & Wallace (2019) 等研究表明注意力权重与特征重要度的相关性可能很弱,不能直接作为解释;若要用注意力做解释需专门验证(如与消融结果对比)。⑤ 实践建议——需要可靠解释时优先置换重要度 + 消融(模型无关、易理解),再配合 SHAP 做逐样本分析;梯度类方法适合快速探索与调试。⑥ 深度学习中的特征选择——常用输入层 L1/组 Lasso 或门控网络实现软选择;也可先训练大模型用置换重要度筛选,再用筛后特征训小模型。
⚠️ 常见面试陷阱与高频失分点
- ✕把注意力权重直接当作特征重要度
- ✕单次运行就下结论(神经网络重要度方差大)
🎯 面试官连环追问与延伸考察
- ?为什么梯度类方法在饱和区失效?
- ?注意力权重能当作重要度吗?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!