集成方法 (Bagging/RF): 解释 out-of-bag（OOB）估计，它有什么用。

Core Concept: 每棵树未采样到的样本构成 OOB 集，可免费作为验证集估计泛化误差。

OOB 的原理：bootstrap 有放回抽样时，每个样本未被某棵树抽中的概率为 (1−1/n)ⁿ→e⁻¹≈0.368，故每棵树约有 36.8% 的样本是'袋外'的。对每个样本 i，收集所有<strong>未在训练中包含 i 的树</strong>的预测并平均，得到 ŷ_i^{OOB}，再计算误差。这与<strong>留一交叉验证</strong>在结构上相似（每个样本由未见过它的模型预测），但<strong>计算成本为零</strong>（不需要重训 n 次）。OOB 误差是 RF 泛化误差的近似无偏估计，可用于选择超参（如 m、树数）而无需单独验证集——这在数据稀缺时很有价值。

实践要点：① <strong>OOB vs 交叉验证</strong>——OOB 每棵树只用 ~63% 数据训练（少于 K 折的 (K−1)/K），故估计略有偏差（通常偏乐观，尤其小数据）；对大数据两者接近。② <strong>OOB 的适用条件</strong>——要求样本<strong>独立同分布</strong>；对分组/时间数据，OOB 会因依赖结构而失效（同组样本可能同时在袋内与袋外）。③ <strong>OOB 用于调参</strong>——sklearn 的 <code>oob_score=True</code> 可直接得到 OOB 分数，<code>RandomizedSearchCV</code> 可基于 OOB 调参（比 CV 快）；但注意 OOB 的方差比 CV 大，且对 m 的敏感性与 CV 不完全一致。④ <strong>OOB 不适用于 Boosting</strong>——Boosting 是串行拟合全部数据的残差，不存在'未参与训练的样本'概念，故无 OOB。⑤ <strong>实际价值</strong>——在特征重要度评估上，可用 OOB 样本计算置换重要度（避免在训练集上评估的乐观偏差）。