VAE 与重参数化

VAE 是变分生成模型, 优化证据下界 ELBO: $\log p(x) \ge \mathbb{E}_{q(z|x)}[\log p(x|z)] - D_{KL}(q(z|x) \Vert p(z))$, 即重构项 + 先验 KL 正则。由于直接从 $q(z|x)$ 采样得到的期望对参数不可导, 用重参数化技巧 $z = \mu + \sigma \odot \epsilon$, 其中 $\epsilon \sim \mathcal{N}(0, I)$, 把随机性转移到与参数无关的噪声, 使采样路径可反向传播。

生成模型、隐空间表示学习、异常检测、扩散模型 (加噪过程可视为层次 VAE) 的前置知识; 面试必考 ELBO 推导与重参数化技巧。

直接最大化 $\log p(x)$ 需要难解的边际积分, VAE 把推断转化为可 SGD 优化的下界。与 AE 的区别: AE 的编码器是确定性映射、无先验约束, 隐空间无结构、无法采样生成; VAE 强制 $q(z|x)$ 靠近先验 $p(z)$, 获得可采样性与生成能力, 代价是逐像素高斯似然导致样本模糊 — 模式平均: 一个 $z$ 要覆盖多个真实模式, 输出取平均; 而 GAN 相反, 样本锐利但训练不稳。

检验攻克程度：针对「VAE 与重参数化」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。