M2-099M2: 经典机器学习正则化Hard
⚡闪卡盲测➔掌握度:

解释随机深度(Stochastic Depth / DropPath)与它与 Dropout 的差异

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-100 →
📐 核心数学机理公式
train: xl+1=xl+ml1−p Fl(xl),ml∼Bernoulli(1−p)\text{train}:\ x_{l+1}=x_l+\frac{m_l}{1-p}\,\mathcal F_l(x_l),\quad m_l\sim\text{Bernoulli}(1-p)
⚡ 一句话直击要害答案
训练时随机丢弃整个残差分支;推理时按概率缩放,与 BN 兼容性优于 dropout。

📌 核心要点提炼

  • •
    丢弃的是整个层/分支(而非单个激活)
  • •
    概率常随深度线性递增(浅层少丢、深层多丢)

📐 数学机理与严密推导

Stochastic Depth(Huang et al. 2016,用于 ResNet)的做法:训练时以概率 p 随机跳过整个残差分支(令 F_l 的输出为 0),只保留恒等路径 x_{l+1}=x_l;推理时使用全部分支并按 1/(1−p) 缩放(与 inverted dropout 一致)。与 Dropout 的差异:① 粒度——dropout 丢弃单个神经元/激活,随机深度丢弃整个层/分支;② 正则机制——dropout 通过破坏共适应与集成视角起正则作用,随机深度通过'随机深度网络集成'(每步是不同深度的子网络)起正则作用,且直接缩短了有效深度(缓解深层网络的优化与梯度问题);③ 与 BN 的兼容性——这是关键差异:dropout 会改变激活的方差(除以 1−p),与 BN 的 running 统计冲突(方差偏移);而随机深度完全跳过分支(不改变保留分支的数值分布),故与 BN 天然兼容——这使它成为 ResNet/ViT 等含 BN/LN 的深层网络的首选正则化手段。概率调度:常用线性递增——浅层 p 小(如 0.0)、深层 p 大(如 0.1–0.5),因为深层更冗余、丢弃影响小;也可用固定 p(如 0.1)。

🏭 深度剖析与工业落地权衡

实践要点:① 为什么深层网络特别需要——随着深度增加,层的冗余性上升(ResNet 的恒等路径使深层可被跳过),故随机深度的收益随深度增加;对 1000 层以上的网络收益显著。② 与 DropPath 的关系——在 ViT/Transformer 中,同样的技术称为 DropPath(丢弃整个残差分支,作用于每个 token 的样本维度),是 ViT、Swin、ConvNeXt 训练的标准配置(常用 p=0.1–0.2)。③ 推理期的实现——必须在 eval 模式下关闭丢弃并使用缩放因子;若忘记缩放会导致输出尺度偏小(这是常见 bug)。④ 与 dropout 的取舍——现代深层网络(含 BN/LN)优先用 DropPath/随机深度;若必须用 dropout,应放在残差分支内(避免与 BN 冲突)。⑤ 与其他正则的叠加——随机深度与 weight decay、数据增强、label smoothing 可叠加;但需注意总正则强度(过多正则导致欠拟合)。⑥ 可解释性视角——随机深度使网络成为'深度随机集成',推理时的期望可视为对 2^L 个子网络的集成(类似 dropout 的集成解释)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把随机深度与 dropout 混用而不考虑 BN 兼容性
  • ✕
    推理期忘记按 1/(1−p) 缩放
🎯 面试官连环追问与延伸考察
  • ?
    为什么它与 BN 兼容?
  • ?
    与 dropout 的机制差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-098: 解释谱范数正则化与 Lipschitz 约束的关系📋 返回题库下一题 →M2-100: 解释 AIC、BIC 与调整 R²,以及它们与交叉验证的关系