Training Diagnostics & Debugging: 如何判断模型是欠拟合还是过拟合？

Core Concept: 看训练 loss 水平：训练 loss 高且验证也高=欠拟合；训练 loss 低但验证高=过拟合；两者都低=良好。

数学机理：判据是<strong>同时看训练与验证 loss 的绝对水平与间隙</strong>。<strong>欠拟合</strong>：训练 loss 本身就高（未接近该任务的可达下界）、验证 loss 也高、两者间隙小——说明模型<strong>容量不足或优化不充分</strong>（'学不会'）。原因包括：(a) 模型太小/太浅、(b) 训练不足（步数/epoch 不够）、(c) lr 过小或过大导致优化失败、(d) 特征/输入信息不足（如把关键特征丢掉了）、(e) 正则过强（把模型'压死'）、(f) 损失函数或标签有问题。<strong>过拟合</strong>：训练 loss 很低（接近 0）、验证 loss 高、间隙大——说明<strong>容量过剩或数据不足</strong>（'记住了'）。<strong>良好拟合</strong>：两者都低且间隙小。<strong>关键对照</strong>：需与 (a) <strong>简单基线</strong>（线性模型、常数预测）、(b) <strong>人类水平/贝叶斯误差</strong>、(c) <strong>理论上界</strong> 比较，才能判断'训练 loss 高'是真的欠拟合还是'任务本身噪声大'（此时训练 loss 有下界，再大容量也降不下去）。例如在'随机标签'任务上，最优模型的 loss 就是 log 2、任何模型都无法降到 0——这不是欠拟合。

深度剖析与工程权衡：① <strong>欠拟合的处理顺序</strong>——先检查'能否过拟合单 batch'（排除 bug）→ 再增大模型/延长训练 → 再调 lr → 最后才减正则。<strong>常见错误</strong>是先减正则（其实正则过强才是原因）。② <strong>学习曲线诊断</strong>——画'训练/验证 loss vs 数据量'：若两条曲线在数据量增大后收敛到一起，说明需要更多数据；若训练 loss 远低于验证 loss 且不收敛，说明需要正则/更多数据。③ <strong>正则过强的识别</strong>——若训练 loss 高且加正则后更差，说明正则过强（如 dropout 0.5 配小模型）；这是'欠拟合'的一个易忽略原因。④ <strong>大模型时代的反转</strong>——LLM 预训练'训练 loss 持续下降、验证 loss 同步下降'，既不欠拟合也不过拟合；说明'数据-容量比'合适时二者统一。⑤ <strong>与评估指标的关联</strong>——有时 loss 与指标不同步（如 loss 低但 F1 低），需分别诊断（见损失-指标错配题）。⑥ <strong>面试要点</strong>——被问'模型效果不好怎么办'，应先问'训练 loss 是多少、验证 loss 是多少'来定位是欠拟合还是过拟合，再给对应方案；直接答'加数据'或'加正则'都是未诊断就开药。