Bagging 与随机森林

Bagging (Bootstrap Aggregating) 是并行式集成: 对训练集做 $k$ 次自助采样, 每次有放回地抽 $n$ 次得到 $k$ 个训练子集, 各自训练一个基学习器, 预测时投票 (分类) 或平均 (回归)。关键概率: 单个样本在 $n$ 次有放回抽样中一次都没被抽中的概率 $\left(1 - \frac{1}{n}\right)^n \to e^{-1} \approx 0.368$, 所以每个自助集平均只含原始样本约 $63.2\%$, 剩余约 $36.8\%$(≈ 1/3) 的样本是该学习器未见过的 OOB (Out-of-Bag) 样本, 可直接用于评估 — OOB 误差 ≈ 留出法误差, 免去单独的验证集。方差分析: 设基学习器输出方差 $\sigma^2$、两两相关 $\rho$, 平均模型的方差 $\text{Var}\left(\bar{f}\right) = \rho \sigma^2 + \frac{1 - \rho}{k} \sigma^2$ — 第一项不随 $k$ 消失, 所以 Bagging 的价值在于压低 $\rho$ 而不是只增大 $k$。随机森林在 Bagging 之上再加特征随机: 每次分裂从全部 $d$ 个特征中随机抽 $m \approx \sqrt{d}$ 个 (分类, 回归约 $d/3$) 再在其中找最优切分, 双重随机性 (样本 + 特征) 显著压低 $\rho$。由偏差-方差分解 $\text{Err} = \text{bias}^2 + \text{variance} + \sigma_\epsilon^2$: 平均不改变偏差, 只降方差, 因此 Bagging 适合高方差低偏差的强基学习器 (深树、不剪枝)。

“为什么随机森林比单棵深树好”“OOB 误差是什么”“$m$ 怎么取”“随机森林为什么能并行” — 面试与工程都高频; 也是表格数据任务的强基线之一, 天然输出特征重要性 (平均分裂增益)。

单棵深树方差大、易过拟合 — 有放回采样制造“数据扰动”让基学习器各不相同 (若用不放回切分, 各学习器数据太相似, $\rho \to 1$, 平均后方差几乎不降); 纯 Bagging 时强特征会主导所有树的分裂、树之间仍然高度相关, 特征子集随机化 ($m$ 小 → $\rho$ 小) 把方差从 $\sigma^2$ 级压到 $\rho \sigma^2$ 级, 这是随机森林优于纯 Bagging 的关键; OOB 让评估与训练同构、零额外数据成本, 且每棵树可以完全并行训练。

Bootstrap 推导: 单个样本 $n$ 次有放回抽样从未被抽中的概率 $(1 - \frac{1}{n})^n \to e^{-1} \approx 0.368$; OOB 误差如何计算? 为什么 OOB 误差无需单独验证集?

方差分解: $\text{Var}(\bar{f}) = \rho \sigma^2 + \frac{1-\rho}{k} \sigma^2$ — 为什么 Bagging 降方差不降偏差? 为什么 $k \to \infty$ 时方差不为 0?

随机森林的双重随机性: 样本自助采样 + 分裂特征随机子集 ($m = \sqrt{d}$ 分类 / $d/3$ 回归); 为什么特征随机是关键而非可有可无?

为什么 Bagging 的基学习器要强 (深树、不剪枝)? 换成浅树会怎样?

OOB 误差 vs K-Fold 交叉验证误差: 优劣对比; 随机森林如何利用 OOB 计算特征重要性?