M2-076M2: 经典机器学习缺失值与数据泄漏Easy
⚡闪卡盲测➔掌握度:

缺失值的三种机制是什么?分别该如何处理

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-077 →
📐 核心数学机理公式
MCAR: P(R∣Xobs,Xmis)=P(R)\text{MCAR}:\ P(R\mid X_{obs},X_{mis})=P(R)
⚡ 一句话直击要害答案
MCAR(完全随机)、MAR(依赖可观测变量)、MNAR(依赖缺失值本身)。

📌 核心要点提炼

  • •
    MCAR/MAR 可插补;MNAR 需建模缺失机制
  • •
    删除法在 MCAR 下无偏但损失信息

📐 数学机理与严密推导

三种机制的严格定义(R 为缺失指示变量):① MCAR(Missing Completely At Random)——缺失与任何变量(含缺失值本身)都无关,即 P(R|X_obs,X_mis)=P(R);例如随机仪器故障导致的缺失。后果:完整案例分析(删缺失)无偏但损失信息;插补也无偏。② MAR(Missing At Random)——缺失依赖于可观测变量,即 P(R|X_obs,X_mis)=P(R|X_obs);例如'收入'缺失与'年龄'相关(年轻人更可能不填),但给定年龄后缺失与收入无关。后果:删除会有偏,但基于可观测变量的插补(MICE、回归插补)可得到无偏估计。③ MNAR(Missing Not At Random)——缺失依赖于缺失值本身,即 P(R|X_obs,X_mis)≠P(R|X_obs);例如'高收入者更不愿披露收入'。后果:最麻烦——标准插补都有偏,需显式建模缺失机制(选择模型、Heckman 校正、模式混合模型),且假设不可检验(因为缺失值不可观测)。

🏭 深度剖析与工业落地权衡

处理策略与要点:① 机制判断——MCAR 可用 Little's test 检验(检验缺失模式与可观测变量的独立性);MAR 不可直接检验(只能基于领域知识);MNAR 完全不可检验(需做敏感性分析:在不同 MNAR 假设下看结论是否稳健)。② 方法选择——MCAR:删除或简单插补均可;MAR:多重插补(MICE) 是标准方法(多次抽样反映不确定性,比单次插补更正确地反映方差);MNAR:需专门建模或敏感性分析。③ 简单插补的问题——均值/中位数插补会压缩方差(所有缺失值取同一个数)并扭曲相关性(人为降低方差导致相关系数偏高),应避免用于统计分析;树模型可用代理分裂或默认方向原生处理缺失。④ 指示变量——当缺失本身有信息(MNAR 或缺失与目标相关)时,加入'是否缺失'的二值特征可显著提升模型(这是最实用的技巧之一)。⑤ 缺失比例——若某特征缺失 >50–70%,通常直接删除该特征;但需先确认缺失是否随机。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    对 MNAR 用均值插补(有偏且不可检验)
  • ✕
    用均值插补后做统计分析(低估方差)
🎯 面试官连环追问与延伸考察
  • ?
    MNAR 为什么最麻烦?
  • ?
    如何检验 MCAR?(Little's test)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-075: 代价敏感学习如何实现?与重采样的关系📋 返回题库下一题 →M2-077: 比较均值/中位数插补、KNN 插补与多重插补