M2-070M2: 经典机器学习特征选择Hard
⚡闪卡盲测➔掌握度:
如何评估特征选择的效果?需要注意什么
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用嵌套 CV 评估,避免在同一份数据上选择又评估;关注性能-特征数权衡与稳定性。
📌 核心要点提炼
- •选择步骤必须放在训练折内
- •用多个随机种子评估选择稳定性
📐 数学机理与严密推导
评估的两个层次:① 性能评估——用嵌套 CV:外层 CV 评估'整个流程(含选择)'的性能,内层 CV 在训练折内做特征选择;若把选择放在外层之外(用全量数据选特征后再 CV),会因选择过程看过验证集标签而高估性能(泄漏)。具体地,选择过程会挑选'恰好在这份数据上表现好'的特征(含噪声),故评估必须用未见过的数据。② 稳定性评估——用不同随机种子/子采样/Bootstrap 重复做选择,度量所选特征集合的一致性:Jaccard 相似度(交集/并集)、Kuncheva 指数、或每个特征被选中的频率。若某特征在 100 次重采样中被选中 95 次,则选择稳定;若只有 50 次,则不可靠。③ 性能-特征数曲线——画性能随特征数 k 的曲线,找'性能接近最优但特征最少'的膝点(类似肘部法)。
🏭 深度剖析与工业落地权衡
实践要点:① 泄漏的隐蔽性——特征选择的泄漏比想象中普遍:即使把选择放在 CV 内,若选择准则(如卡方统计量)在全量数据上计算过(如先算全局相关性再在折内选 top-k),仍有泄漏;正确做法是选择准则也只在训练折内计算。② 报告规范——应报告'该流程的性能'(含选择),而非'选定特征后的模型性能';后者是无偏但无法复现(因特征由全量数据选出)。③ 稳定性 vs 性能的权衡——稳定的选择通常对应更强的信号(弱信号特征的选择天然不稳定);若追求稳定性可用 Stability Selection(对子采样做 LASSO 并统计选择频率,只保留高频特征)。④ 多重比较的放大——若在 p 个特征上做 p 次显著性检验并按 p 值选,会因多重比较产生大量假阳性;应用 FDR 控制或正则化。⑤ 业务可执行性——最终特征集应能被业务理解与采集(避免选出难以获取的特征);这是纯统计评估无法覆盖的维度。
⚠️ 常见面试陷阱与高频失分点
- ✕用同一份 CV 既选特征又报告性能
- ✕只报性能不报选择稳定性
🎯 面试官连环追问与延伸考察
- ?为什么特征选择必须放进 CV?
- ?如何度量选择稳定性?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!