Missing Values & Data Leakage: 比较均值/中位数插补、KNN 插补与多重插补。

Core Concept: 简单插补快但低估方差；KNN 利用相似样本；多重插补（MICE）通过多次抽样反映不确定性。

三种方法：① <strong>均值/中位数/众数插补</strong>——用该特征的统计量填充；最快最简单，但<strong>严重低估方差</strong>（所有缺失值取同一数值，人为降低该特征的方差），且<strong>扭曲相关性</strong>（若两个特征都做均值插补，它们的相关性会被稀释或扭曲）；此外会<strong>低估标准误</strong>导致显著性检验过于乐观。适合：缺失极少（<1–2%）且仅用于树模型/机器学习的场景（不用于统计分析）。② <strong>KNN 插补</strong>——用最相似的 k 个样本的特征值加权填充；能利用特征间相关性，比均值插补更合理；缺点是需选 k、对高维/尺度敏感（需标准化）、计算成本 O(n²)。③ <strong>多重插补（MICE / 链式方程）</strong>——为每个缺失特征建立回归模型（以其他特征为自变量），迭代地预测缺失值；关键是对每个缺失值抽取<strong>多个</strong>候选值（引入随机性），生成 M 个完整数据集（通常 M=5–20），分别在每个数据集上做分析，再用 <strong>Rubin 规则</strong>合并结果（点估计取平均，方差 = 组内方差 + 组间方差×(1+1/M)）。<strong>优势</strong>：正确反映插补的不确定性（组间方差项），是现代统计的标准做法。

实践要点：① <strong>方法选择</strong>——统计分析（需正确的标准误）用 MICE；机器学习建模可用简单插补 + 指示变量（树模型对插补方式不敏感）；树模型（XGBoost/LightGBM）可<strong>原生处理缺失</strong>（学习默认方向），通常优于任何插补。② <strong>MICE 的实现</strong>——<code>IterativeImputer</code>（sklearn）或 <code>mice</code>（R）；需指定每个特征的插补模型（默认贝叶斯岭回归），迭代次数与 M 的选择影响结果；迭代收敛后可检查插补值的合理性。③ <strong>必须放进 Pipeline</strong>——插补的统计量（均值、KNN 近邻、回归系数）只能从<strong>训练折</strong>估计，否则会用验证集信息导致泄漏；这是最常见的泄漏来源之一。④ <strong>MICE 与 EM 的关系</strong>——EM 给出参数的<strong>点估计</strong>（用期望值填充），MICE 给出<strong>分布</strong>（多次抽样），后者能反映不确定性；EM 适合极大似然估计场景。⑤ <strong>MNAR 的处理</strong>——以上方法都假设 MAR；对 MNAR 需用模式混合模型、Heckman 选择模型，或做敏感性分析（在不同缺失机制假设下看结论稳健性）。