Regularization (L1 / L2): Dropout 为什么能起到正则化作用？给出两种解释。

Core Concept: ① 集成视角：等价于指数级子网络的 bagging；② 破坏共适应，迫使特征独立有用。

两种解释：① <strong>集成视角</strong>（Srivastava et al. 2014）——每次前向随机丢弃一部分神经元，相当于训练了 2ⁿ 个共享权重的子网络；推理时用全部神经元并缩放，相当于对这些子网络的<strong>几何平均</strong>做集成。集成降方差，故有正则效果。② <strong>共适应破坏视角</strong>——神经元不能依赖特定同伴的存在（因为同伴可能被丢弃），被迫学习<strong>独立有用</strong>的特征。这抑制了'特征间互相补偿'的脆弱依赖，提升鲁棒性。<strong>Inverted dropout</strong> 的实现细节：训练时对保留的激活除以 (1−p)（放大），推理时恒等——这样训练与推理的期望一致，避免推理期额外缩放。

关键权衡与坑：① <strong>p 的选择</strong>——输入层通常 p=0.1–0.2，隐藏层 0.3–0.5；p 过大导致欠拟合与训练不稳，p 过小无效果。② <strong>与 BatchNorm 的冲突</strong>——BN 在训练时用 batch 统计、推理时用 running 统计，而 dropout 改变激活的方差，导致训练/推理的统计不一致（方差偏移，variance shift）；常见解法是把 dropout 放在残差分支上（而非主路径）、或用 LN/GN 替代 BN、或降低 p。③ <strong>现代趋势</strong>——大模型预训练常用 dropout=0（数据量大时正则需求低），而微调时用 0.1；Transformer 中 dropout 常用于注意力权重与残差连接处。④ <strong>与 weight decay 的关系</strong>——两者机制不同（dropout 作用于激活、weight decay 作用于参数），可叠加；但 dropout 的隐式正则已较强时，需相应减小 weight decay。