GAN 对抗训练

GAN 由生成器 $G$ 与判别器 $D$ 组成, 玩零和 min-max 博弈: $\min_G\max_D V(D,G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$。固定 $G$ 时对 $D$ 求导得最优判别器是似然比 $D^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}$; 代入目标得 $V(D^*, G) = -\log 4 + 2 \cdot JSD(p_{data} \Vert p_g)$, 即 GAN 等价于最小化真实分布与生成分布的 Jensen-Shannon 散度, 当且仅当 $p_{data} = p_g$ 时取全局最优 $-\log 4$。

图像生成 (DCGAN/ProGAN/StyleGAN)、超分辨率、图像域迁移; 面试必考 min-max 目标与 $D^*$ 推导、训练不稳定与模式坍缩的机理。

相比 VAE 显式逼近密度、用逐像素重构损失, GAN 不假设分布形式、生成样本更锐利; 代价是 $D$/$G$ 交替训练逼近的是纳什均衡而非极小化损失, 收敛困难: $D$ 过强时 JSD 饱和、生成器梯度消失, $D$ 过弱时信号噪声大, 典型失败模式为模式坍缩与训练震荡。

写出 GAN 的 min-max 目标函数, 并推导最优判别器 $D^*(x)$?

把 $D^*$ 代入后为什么 GAN 等价于最小化 $JSD(p_{data} \Vert p_g)$?

GAN 训练为什么不稳定? 梯度消失与模式坍缩的机理?

为什么 GAN 容易模式坍缩而 VAE 不会? 两者生成质量有何差异?

缓解 GAN 训练不稳定的常用技巧 (label smoothing / TTUR / spectral norm)?