M2-013M2: 经典机器学习正则化Medium
⚡闪卡盲测➔掌握度:
Dropout 为什么能起到正则化作用?给出两种解释。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
① 集成视角:等价于指数级子网络的 bagging;② 破坏共适应,迫使特征独立有用。
📌 核心要点提炼
- •推理期需缩放(inverted dropout)
- •与 BN 同用需注意方差偏移
📐 数学机理与严密推导
两种解释:① 集成视角(Srivastava et al. 2014)——每次前向随机丢弃一部分神经元,相当于训练了 2ⁿ 个共享权重的子网络;推理时用全部神经元并缩放,相当于对这些子网络的几何平均做集成。集成降方差,故有正则效果。② 共适应破坏视角——神经元不能依赖特定同伴的存在(因为同伴可能被丢弃),被迫学习独立有用的特征。这抑制了'特征间互相补偿'的脆弱依赖,提升鲁棒性。Inverted dropout 的实现细节:训练时对保留的激活除以 (1−p)(放大),推理时恒等——这样训练与推理的期望一致,避免推理期额外缩放。
🏭 深度剖析与工业落地权衡
关键权衡与坑:① p 的选择——输入层通常 p=0.1–0.2,隐藏层 0.3–0.5;p 过大导致欠拟合与训练不稳,p 过小无效果。② 与 BatchNorm 的冲突——BN 在训练时用 batch 统计、推理时用 running 统计,而 dropout 改变激活的方差,导致训练/推理的统计不一致(方差偏移,variance shift);常见解法是把 dropout 放在残差分支上(而非主路径)、或用 LN/GN 替代 BN、或降低 p。③ 现代趋势——大模型预训练常用 dropout=0(数据量大时正则需求低),而微调时用 0.1;Transformer 中 dropout 常用于注意力权重与残差连接处。④ 与 weight decay 的关系——两者机制不同(dropout 作用于激活、weight decay 作用于参数),可叠加;但 dropout 的隐式正则已较强时,需相应减小 weight decay。
⚠️ 常见面试陷阱与高频失分点
- ✕推理时忘记关闭 dropout(输出随机、期望被放大)
- ✕dropout 与 BN 直接叠加而不处理方差偏移
🎯 面试官连环追问与延伸考察
- ?为什么推理时不能开 dropout?
- ?Dropout 与 weight decay 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!