集成方法 (Bagging/RF): 解释 AdaBoost 的算法与它的损失函数。

Core Concept: 串行训练弱分类器，按错误率调整样本权重与分类器权重；等价于最小化指数损失。

算法流程：① 初始化样本权重均匀 D₁(i)=1/n；② 每轮 t 用当前权重训练弱分类器 hₜ，计算加权错误率 εₜ；③ 计算分类器权重 αₜ=½ln[(1−εₜ)/εₜ]（错误率越低权重越大，εₜ<0.5 时 αₜ>0）；④ 更新样本权重：被错分的样本权重乘以 e^{αₜ}（放大）、正确分类的乘以 e^{−αₜ}（缩小），再归一化；⑤ 最终预测为 H(x)=sign(Σαₜhₜ(x))（加权投票）。<strong>损失函数</strong>：Freund & Schapire 与 Friedman 等人证明 AdaBoost 等价于<strong>前向分步加法模型</strong>最小化<strong>指数损失</strong> L=Σᵢexp(−yᵢH(xᵢ))——这解释了为什么它用'调整样本权重'而非'拟合残差'：指数损失的梯度是 −yᵢexp(−yᵢH(xᵢ))，其幅度正是样本权重 D(i)。<strong>与逻辑损失的区别</strong>：指数损失 L=exp(−margin) 对<strong>负 margin（错分）的惩罚呈指数增长</strong>，而逻辑损失 L=log(1+exp(−margin)) 增长较缓——这使 AdaBoost <strong>对噪声标签与离群点极其敏感</strong>（一个错标样本会被反复放大权重，主导后续训练）。

实践要点：① <strong>对噪声的敏感性</strong>——这是 AdaBoost 最大的弱点：错标样本的权重会指数增长，导致模型被少数错误样本主导；对策是<strong>限制迭代轮数</strong>（早停）、<strong>限制 αₜ 上界</strong>、或改用对噪声更鲁棒的 <strong>Gentle AdaBoost</strong>（用牛顿步而非指数权重）或 <strong>LogitBoost</strong>（用逻辑损失）。② <strong>与 GBDT 的关系</strong>——AdaBoost 是 GBDT 在指数损失下的特例；GBDT 用任意可微损失（含平方、Huber、逻辑）并拟合负梯度，泛化性更强、对噪声更鲁棒——这是 GBDT 取代 AdaBoost 成为主流的原因。③ <strong>弱分类器的要求</strong>——只需<strong>略好于随机</strong>（ε<0.5），实践中常用<strong>决策桩</strong>（深度 1 的树）；理论上只要每轮 εₜ≤0.5−γ，训练误差会指数下降。④ <strong>对不平衡数据的表现</strong>——AdaBoost 通过样本权重自动聚焦难分类样本，但少数类样本若本身难分会被过度加权，可能过拟合；需配合类权重或改用代价敏感版本。⑤ <strong>现代地位</strong>——纯 AdaBoost 已较少使用（被 GBDT 取代），但其<strong>前向分步加法 + 损失函数</strong>的思想是现代 Boosting 的理论基础；理解它对理解 GBDT/XGBoost 的推导很关键。⑥ <strong>与 Bagging 的对比</strong>——AdaBoost 串行、降低偏差、对噪声敏感；Bagging 并行、降低方差、对噪声鲁棒——两者是集成方法的两极。