Feature Selection: 如何评估特征选择的效果？需要注意什么。

Core Concept: 用嵌套 CV 评估，避免在同一份数据上选择又评估；关注性能-特征数权衡与稳定性。

评估的两个层次：① <strong>性能评估</strong>——用<strong>嵌套 CV</strong>：外层 CV 评估'整个流程（含选择）'的性能，内层 CV 在训练折内做特征选择；若把选择放在外层之外（用全量数据选特征后再 CV），会因选择过程看过验证集标签而<strong>高估性能</strong>（泄漏）。具体地，选择过程会挑选'恰好在这份数据上表现好'的特征（含噪声），故评估必须用未见过的数据。② <strong>稳定性评估</strong>——用不同随机种子/子采样/Bootstrap 重复做选择，度量所选特征集合的一致性：Jaccard 相似度（交集/并集）、Kuncheva 指数、或每个特征被选中的频率。若某特征在 100 次重采样中被选中 95 次，则选择稳定；若只有 50 次，则不可靠。③ <strong>性能-特征数曲线</strong>——画性能随特征数 k 的曲线，找'性能接近最优但特征最少'的膝点（类似肘部法）。

实践要点：① <strong>泄漏的隐蔽性</strong>——特征选择的泄漏比想象中普遍：即使把选择放在 CV 内，若<strong>选择准则</strong>（如卡方统计量）在全量数据上计算过（如先算全局相关性再在折内选 top-k），仍有泄漏；正确做法是选择准则也只在训练折内计算。② <strong>报告规范</strong>——应报告'该流程的性能'（含选择），而非'选定特征后的模型性能'；后者是无偏但无法复现（因特征由全量数据选出）。③ <strong>稳定性 vs 性能的权衡</strong>——稳定的选择通常对应更强的信号（弱信号特征的选择天然不稳定）；若追求稳定性可用 <strong>Stability Selection</strong>（对子采样做 LASSO 并统计选择频率，只保留高频特征）。④ <strong>多重比较的放大</strong>——若在 p 个特征上做 p 次显著性检验并按 p 值选，会因多重比较产生大量假阳性；应用 FDR 控制或正则化。⑤ <strong>业务可执行性</strong>——最终特征集应能被业务理解与采集（避免选出难以获取的特征）；这是纯统计评估无法覆盖的维度。