M2-116M2: Classical Machine LearningMissing Values & Data LeakageHard
Mastery:
Missing Values & Data Leakage: 解释 MICE(多重插补链式方程)的迭代过程与实现要点。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 对每个缺失特征用其他特征回归预测,循环迭代;每次抽取多个候选值生成 M 个完整数据集。
📌 Key Takeaways
- •每个特征轮流作为因变量、其余为自变量
- •M 个数据集分别分析后用 Rubin 规则合并
📐 Mathematical Derivations
MICE 的算法流程:① <strong>初始化</strong>——对每个缺失值用简单方法(如均值)填充,得到初始完整数据集;② <strong>迭代</strong>——按顺序对每个含缺失的特征 xⱼ:以 xⱼ 为因变量、其余特征为自变量,用<strong>有缺失值的样本</strong>(xⱼ 缺失的行)之外的数据训练回归模型,然后对缺失位置<strong>预测并加入随机噪声</strong>(从预测分布中抽样,而非取点预测);③ <strong>循环</strong>——对 j=1…p 重复,再整体循环若干轮(通常 5–20 轮)直至收敛(参数或插补值稳定);④ <strong>多重性</strong>——把上述过程重复 <strong>M 次</strong>(每次的随机抽样不同),得到 M 个完整数据集(M 通常 5–20);⑤ <strong>分析</strong>——在每个数据集上独立做统计分析(如回归、检验),得到 M 组结果;⑥ <strong>合并</strong>——用 <strong>Rubin 规则</strong>合并:点估计取 M 个的平均,方差 = 组内方差平均 + (1+1/M)×组间方差(后者反映插补的不确定性)。<strong>为什么优于单次插补</strong>:单次插补(含回归插补)把插补值当作'真实观测',<strong>低估了不确定性</strong>(标准误偏小、p 值偏小);MICE 通过多次抽样把插补的不确定性纳入方差估计,得到<strong>正确的推断</strong>。
🏭 Production Trade-offs
实现要点:① <strong>回归模型的选择</strong>——连续变量用线性回归(或贝叶斯岭回归,sklearn 默认)、二值变量用逻辑回归、计数用 Poisson;应选择与该特征分布匹配的模型。② <strong>收敛诊断</strong>——画每个特征的插补值随迭代轮数的轨迹(应稳定无趋势);或用 Gelman-Rubin 统计量比较 M 条链;未收敛说明迭代次数不够或模型设定有误。③ <strong>M 的选择</strong>——M=5 通常足够(Rubin 1987 的建议),若缺失比例高(>50%)或需要更精确的方差估计可用 M=20+;现代研究建议 M 至少覆盖'缺失比例 × 100'的百分位。④ <strong>必须放进 Pipeline</strong>——MICE 的回归系数只能从<strong>训练折</strong>估计,否则泄漏;但注意 MICE 的'多重数据集'结构难以直接嵌入 sklearn Pipeline(需自定义或用 <code>IterativeImputer</code> 的单次输出 + 指示变量作为近似)。⑤ <strong>与树模型的关系</strong>——树模型(XGBoost/LightGBM)可<strong>原生处理缺失</strong>(学习默认方向),通常优于任何插补;故若用树模型,可跳过 MICE,直接加缺失指示变量。⑥ <strong>MNAR 的限制</strong>——MICE 假设 MAR(缺失依赖于可观测变量);对 MNAR 无效,需专门方法(模式混合模型、Heckman 选择模型)或做<strong>敏感性分析</strong>。⑦ <strong>实践建议</strong>——统计分析(需正确标准误)用 MICE;机器学习建模用'简单插补 + 指示变量'或树模型原生处理。
⚠️ Common Interview Pitfalls
- ✕用 MICE 后仍按单次插补的方式计算标准误(低估方差)
- ✕在 MNAR 情形下依赖 MICE
🎯 Interviewer Follow-ups
- ?为什么 MICE 比单次回归插补好?
- ?迭代次数与收敛如何判断?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.