M3-009M3: 深度学习基础权重初始化Easy
⚡闪卡盲测➔掌握度:
写出 Xavier 与 Kaiming 初始化的方差,并说明适用激活
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
Xavier 适合 tanh/sigmoid,Kaiming 适合 ReLU(考虑半区激活)。
📌 核心要点提炼
- •目标是让每层输出方差≈1
- •ReLU 使一半神经元失活,故需更大方差
📐 数学机理与严密推导
推导思路(方差保持):设层输出 y=Σᵢwᵢxᵢ(忽略激活),若 w 与 x 独立且零均值,则 Var(y)=fan_in·Var(w)·Var(x)。要让 Var(y)=Var(x)(方差保持),需 Var(w)=1/fan_in。Xavier(Glorot) 取折中:Var(w)=2/(fan_in+fan_out)——它同时考虑前向(fan_in 决定输出方差)与反向(fan_out 决定梯度方差),故在线性激活或对称饱和激活(tanh/sigmoid) 下能同时保持前向与反向的方差。Kaiming(He) 的修正是针对 ReLU:ReLU 把负半区置零,使输出方差减半(因为一半神经元失活),故需把方差加倍:Var(w)=2/fan_in。若对 ReLU 用 Xavier,方差会逐层衰减(每层减半),深层网络的信号会消失。fan_in/fan_out 的定义:对全连接层 fan_in=输入维、fan_out=输出维;对卷积层 fan_in=输入通道×卷积核面积、fan_out=输出通道×卷积核面积。
🏭 深度剖析与工业落地权衡
实践要点:① 激活与初始化的配对——tanh/sigmoid → Xavier;ReLU/LeakyReLU → Kaiming(LeakyReLU 的负斜率 α 会影响方差:Var=2/((1+α²)fan_in));GELU/SiLU → 近似用 Kaiming(GELU 在 0 附近近似线性,故与 ReLU 相近)。② 均匀 vs 正态——两者可互相转换(均匀分布的方差 = (b−a)²/12);框架同时提供(
xavier_uniform_/kaiming_normal_)。③ 偏置初始化——通常置零;若激活非零中心(如 ReLU),有人用小的正偏置(如 0.01)避免初始全死,但现代实践多用零(配合归一化层)。④ 与归一化层的交互——若层后接 BN/LN,初始化的要求被放松(归一化会重新标准化),故方差保持不再是严格必要;这也是'有 BN 的网络对初始化更宽容'的原因。⑤ Transformer 的特殊处理——标准 Kaiming 会导致深层 Transformer 的残差累积方差爆炸,故 GPT-2 等用 1/√(2L) 缩放残差分支的初始化(见'Transformer 初始化技巧'题)。⑥ 诊断——若前向传播后激活方差逐层指数衰减(或爆炸),说明初始化不当;可在初始化后跑一次前向,打印各层激活的均值/方差确认。⚠️ 常见面试陷阱与高频失分点
- ✕对 ReLU 网络用 Xavier 初始化(方差逐层减半)
- ✕卷积层的 fan_in 忽略卷积核面积
🎯 面试官连环追问与延伸考察
- ?fan_in 与 fan_out 的定义?
- ?为什么 ReLU 需要 Kaiming?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!