Bias-Variance Tradeoff & Model Selection: 解释学习曲线与验证曲线，以及各自的诊断用途。

Core Concept: 学习曲线：性能随训练集大小变化（诊断数据量是否足够）；验证曲线：性能随超参变化（诊断超参取值）。

两种曲线的诊断用途不同：① <strong>学习曲线（learning curve）</strong>——固定模型与超参，横轴是<strong>训练集大小</strong>，纵轴是训练与验证误差。诊断规则：<strong>高偏差</strong>（训练误差本身就高且随 n 增加趋于平台，验证误差与之接近）→ 加数据无用，应加特征/提高容量；<strong>高方差</strong>（训练误差低、验证误差高，且随 n 增加验证误差持续下降并逼近训练误差）→ 加数据有帮助，或加正则。<strong>关键用途</strong>：在决定'投入更多数据'还是'改进模型'之前，先用学习曲线判断瓶颈在哪——这是避免盲目投入的最有效手段。② <strong>验证曲线（validation curve）</strong>——固定数据，横轴是<strong>某个超参</strong>（如 λ、max_depth、K），纵轴是训练与验证误差。典型形态是 <strong>U 型</strong>：超参使模型过简时（左端）两者都高（高偏差）；使模型过复杂时（右端）训练误差持续下降而验证误差上升（高方差）；谷底即最优超参。用途是<strong>定位超参的合理范围</strong>（粗调），再在其附近做细网格搜索。

实践要点：① <strong>学习曲线的解读陷阱</strong>——(a) 曲线噪声大时需多次重复取平均（不同随机划分/种子）；(b) 若训练/验证<strong>分布不同</strong>（如时间切分），差距会被误判为高方差；(c) 训练误差受早停/正则影响，应在<strong>无早停</strong>条件下测才能反映真实偏差。② <strong>验证曲线的实现</strong>——对每个超参值做 K 折 CV（减少划分噪声）；注意<strong>一次只变一个超参</strong>（否则无法归因）；对重要超参（学习率、λ、深度）应优先画。③ <strong>与超参重要度分析的关系</strong>——验证曲线的'U 型陡峭程度'反映了该超参的敏感度（陡峭 → 重要且需精调）；平缓 → 不重要，可用默认值（这与 fANOVA 的重要度分析一致）。④ <strong>诊断组合</strong>——实践中常同时看：学习曲线（数据量瓶颈）、验证曲线（超参）、残差图（模型误设）、特征重要度（特征质量）；四者结合才能定位问题。⑤ <strong>注意成本</strong>——学习曲线需对每个 n 重训（通常用子采样），验证曲线需对每个超参值做 K 折，计算成本是普通训练的数十倍；大数据上可只做<strong>部分</strong>（如学习曲线取 3–5 个点、验证曲线取 5–10 个值）。⑥ <strong>决策导向</strong>——曲线分析的目的不是'画好看的图'，而是<strong>回答具体问题</strong>（该加数据还是改模型？超参该往哪调？），应带着假设去画。