Information Theory: KL 散度为什么不对称？前向与反向 KL 在优化上有什么区别？

Core Concept: KL(p‖q) ≠ KL(q‖p)。前向（moment-covering）逼 q 覆盖 p 的支撑；反向（mode-seeking）让 q 收缩到 p 的众数。

不对称的根源在于 KL 是<strong>加权求和</strong>，而权重是第一个分布：KL(p‖q)=Σp·log(p/q)，权重为 p；KL(q‖p) 权重为 q。因此两者的'惩罚重点'完全不同——<strong>前向 KL(p‖q)</strong> 在 p(x)>0 而 q(x)→0 时惩罚 →∞，迫使 q 覆盖 p 的整个支撑（zero-avoiding / mass-covering），但允许 q 在 p 很小的区域铺开；<strong>反向 KL(q‖p)</strong> 在 q(x)>0 而 p(x)→0 时惩罚 →∞，迫使 q 收缩到 p 的支撑内（zero-forcing / mode-seeking），但允许多个众数只保留一个。

三种典型用法的对应：① <strong>最大似然估计 ≡ 最小化前向 KL(p_data‖p_model)</strong>——所以 MLE 会覆盖所有模式（这就是为什么用 MLE 训练的生成模型不会丢模式）；② <strong>变分推断最小化反向 KL(q_approx‖p_posterior)</strong>——所以变分后验倾向于<strong>低估方差</strong>并聚焦单一模式，这是 VAE 生成偏模糊的理论根源（可通过 IWAE、β-VAE 缓解）；③ <strong>GAN 的 JS 散度</strong>在两个分布支撑不重叠时饱和为常数 log2，梯度消失——这是 WGAN 改用 Wasserstein 距离（有连续梯度）的直接动机。对称化方案：JS 散度（(KL(p‖m)+KL(q‖m))/2，m 为混合）、Wasserstein 距离、或 Maximum Mean Discrepancy（MMD）。