M2-018M2: 经典机器学习偏差-方差与模型选择Medium
⚡闪卡盲测➔掌握度:

比较 K 折交叉验证、留一法(LOO)与留出法的取舍。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-019 →
📐 核心数学机理公式
CV: err^=1K∑kerrk\text{CV}:\ \hat{\mathrm{err}}=\frac1K\sum_k\mathrm{err}_k
⚡ 一句话直击要害答案
K 折平衡偏差与计算;LOO 偏差最小但方差大且昂贵;留出法快但方差大。

📌 核心要点提炼

  • •
    分层 K 折用于类别不平衡
  • •
    时间序列必须用前向链式 CV(不可随机划分)

📐 数学机理与严密推导

三者的偏差-方差-计算量三角权衡:① 留出法(Hold-out)——单次划分,计算最省,但性能估计方差大(依赖具体划分),且用于调参时数据利用不充分(验证集不能训练)。适合大数据(划分带来的方差小)。② K 折 CV——每折轮流作验证,数据利用率高,偏差略大于 LOO(因训练集为 (K−1)/K 而非 n−1),方差适中;K=5 或 10 是经验默认。③ LOO(K=n)——训练集几乎最大故偏差最小,但方差最大(n 个估计高度相关且各基于几乎相同的数据)、计算量最大(n 次训练);存在 LOO 的快捷公式(线性模型可用帽子矩阵 hᵢᵢ 一次算出,无需 n 次拟合)。

🏭 深度剖析与工业落地权衡

实践要点:① 分层与分组——分类不平衡时用分层 K 折(每折保持类别比例);存在组结构(同一用户多条记录)时用 GroupKFold(同组不跨折),否则会因信息泄漏而高估性能。② 时间序列——必须用前向链式 CV(训练集只含验证集之前的时间),随机 K 折会用到未来信息导致严重乐观偏差。③ 重复 K 折——单次 K 折的估计仍有方差(依赖划分),重复 R 次取平均可降低方差(代价是 R 倍计算),在模型选择(比较多个模型)时尤其重要,因为选择方差会掩盖真实差异。④ 与嵌套 CV 的区别——普通 K 折用于评估,但若同时用于调参则乐观偏差,此时需嵌套 CV。⑤ 大数据的例外——当 n 很大时,单次留出法的方差已足够小,K 折的收益有限,可优先用留出法节省计算。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    对分组/时间数据用随机 K 折(信息泄漏)
  • ✕
    用 LOO 做模型选择(方差过大,选择不稳定)
🎯 面试官连环追问与延伸考察
  • ?
    时间序列为什么不能随机 K 折?
  • ?
    重复 K 折能降低选择方差吗?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-017: 如何用学习曲线诊断高偏差与高方差?📋 返回题库下一题 →M2-019: 解释嵌套交叉验证,它解决了什么问题。