Kaiming 初始化方差推导

Kaiming(He)初始化推导——为 ReLU 网络构造前向/反向方差保持的权重分布,结论是 $\text{Var}(w) = 2/d_{\text{in}}$。完整推导链: ① 核心恒等式: 对单输出神经元 $y = \sum_{i=1}^{d} w_i x_i$($d = d_{\text{in}}$),假设 $w_i$ i.i.d.、$E[w_i] = 0$ 且 $w_i$ 与 $x_i$ 相互独立,则 $\text{Var}(y) = \sum_{i=1}^{d}\text{Var}(w_i x_i) = \sum_{i=1}^{d}\left(E[w_i^2]E[x_i^2] - E[w_i]^2E[x_i]^2\right)$。因 $E[w]=0$、$E[x]=0$ 时 $\text{Var}(w)=E[w^2]$、$\text{Var}(x)=E[x^2]$,故 $\text{Var}(y) = d\,E[w^2]\,E[x^2] = d\,\text{Var}(w)\,\text{Var}(x)$。② 线性条件: 无激活(或线性激活)时令 $\text{Var}(y) = \text{Var}(x)$,得 $d\,\text{Var}(w) = 1 \Rightarrow \text{Var}(w) = 1/d$,即 Xavier 的前向条件。③ ReLU 的作用: 设前激活 $z = w^Tx$ 均值为零且分布关于 0 对称(由零均值、对称的 $w$ 与 $x$ 保证),则 $P(z<0) = 1/2$;输出 $x' = \max(0, z)$ 把负半轴全部置零,其均方能量 $E[(x')^2] = \int_0^{\infty} z^2 p(z)\,dz = \tfrac{1}{2}\int_{-\infty}^{\infty} z^2 p(z)\,dz = \tfrac{1}{2}\text{Var}(z)$——ReLU 恰好把激活的均方能量砍掉一半。④ 代入下一层: $\text{Var}(y') = d\,E[w^2]\,E[(x')^2] = d\,\text{Var}(w)\cdot\tfrac{1}{2}\text{Var}(x)$(上一层已保证 $\text{Var}(z) = \text{Var}(x)$),令 $\text{Var}(y') = \text{Var}(x)$ 得 $\tfrac{1}{2}d\,\text{Var}(w) = 1 \Rightarrow \text{Var}(w) = \frac{2}{d}$。因子 2 的来源: ReLU 每层把均方激活砍半,为保持方差不变,权重方差必须加倍。⑤ 反向条件: 梯度 $\frac{\partial L}{\partial x} = W^T\frac{\partial L}{\partial y}$ 同样是 $d_{\text{out}}$ 项求和,且 ReLU 的导数正半轴为 1、负半轴为 0(梯度通过率也是 ½),故反向方差保持要求 $\text{Var}(w) = 2/d_{\text{out}}$。前向用 fan_in、反向用 fan_out;PyTorch 等框架默认按 fan_in($d_{\text{in}}$)。⑥ PReLU 推广(负半轴斜率 a): $\text{Var}(w) = \frac{2}{(1+a^2)d_{\text{in}}}$,a=0 时退化为 ReLU 的 $2/d_{\text{in}}$。

面试手推高频题(“推导 Kaiming 因子 2”),也是 ResNet 等所有 ReLU 深度网络初始化配置(如 PyTorch 默认 kaiming_uniform)的理论依据。

不做因子 2 补偿时,每层前向激活方差乘 ½、反向梯度方差乘 ½,50 层后信号按 $(1/2)^{50} \approx 10^{-15}$ 量级消失——梯度消失;Kaiming 初始化让每层方差保持 1,信号能稳定穿过数十上百层。同时避免权重过大导致 ReLU 全饱和(输入分布被推到负半轴、梯度为 0 的“死神经元”),方差保持也保证网络输出初始量级 $O(1)$,与损失量级匹配、首步更新稳定。

检验攻克程度：针对「Kaiming 初始化方差推导」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。