M2-014M2: 经典机器学习正则化Medium
⚡闪卡盲测➔掌握度:
BatchNorm 为什么也有正则化效果?它和 Dropout 能一起用吗。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
BN 引入 mini-batch 统计噪声,起轻微正则作用;但与 Dropout 同用会互相干扰(方差偏移)。
📌 核心要点提炼
- •BN 主要目的是稳定优化,正则是副产品
- •替代方案:LN/GN 或把 dropout 放残差分支
📐 数学机理与严密推导
BN 的正则化机制:训练时每个 batch 的均值/方差是有噪声的估计(尤其小 batch),这给激活注入了随机性,效果类似 dropout——网络不能依赖精确的激活值。因此 BN 的原始论文观察到'使用 BN 后可以减小或去掉 dropout'。但必须强调:BN 的主要目的是稳定优化(缓解内部协变量偏移、允许更大学习率、平滑损失景观),正则化只是副产品,且在小 batch 下噪声过大反而有害。
🏭 深度剖析与工业落地权衡
与 Dropout 同用的冲突与解法:① 方差偏移问题——dropout 改变激活方差(除以 1−p),而 BN 的 running 统计是在有 dropout 的情况下估计的;推理时 dropout 关闭使方差变化,导致 BN 的归一化失配,性能下降。② 常见解法——(a) 把 dropout 放在残差分支(BN 之前或之后分离);(b) 用 LN/GN 替代 BN(它们不依赖 batch 统计,训练/推理一致);(c) 减小 dropout 的 p(如 0.1);(d) 使用 DropPath / Stochastic Depth(按样本丢弃整个残差分支,与 BN 兼容)。③ 现代实践——Transformer 用 LN 故无此问题;CNN 中 ResNet 系列把 BN 放在卷积后、dropout 尽量少用或只在全连接层;检测/分割常用 GN。
⚠️ 常见面试陷阱与高频失分点
- ✕认为 BN 的正则效果可以替代 dropout(机制不同,小 batch 下更糟)
- ✕在 BN 后直接加 dropout 而不考虑方差偏移
🎯 面试官连环追问与延伸考察
- ?BN 在推理期为什么用 running 统计?
- ?为什么 BN 对小 batch 效果差?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!