变分推断与 ELBO

变分推断用可解分布 $q(z|x)$ 逼近难解后验 $p(z|x)$,核心是证据下界 ELBO。对证据对数做精确分解: $\log p(x) = \text{ELBO}(q) + D_{KL}(q(z|x) \Vert p(z|x))$,其中 $\text{ELBO}(q) = \mathbb{E}_{q(z|x)}\left[\log\frac{p(x,z)}{q(z|x)}\right] = \mathbb{E}_q[\log p(x,z)] + H(q) = \mathbb{E}_q[\log p(x|z)] - D_{KL}(q(z|x) \Vert p(z))$。下界由 Jensen 不等式构造:$\log$ 凹,所以 $\log p(x) = \log\mathbb{E}_q\left[\frac{p(x,z)}{q(z|x)}\right] \ge \mathbb{E}_q\left[\log\frac{p(x,z)}{q(z|x)}\right] = \text{ELBO}(q)$;由 $\mathbb{E}_q[\log p(x)] = \text{ELBO} + \mathbb{E}_q\left[\log\frac{q}{p(z|x)}\right]$ 展开即得精确分解,等式当且仅当 $q = p(z|x)$,此时 KL 缺口为 0、ELBO 达到 $\log p(x)$。

VAE 的训练目标(重构项 + KL 正则,配重参数化技巧)、贝叶斯神经网络、LDA 主题模型;面试“推导 ELBO”“VAE 为什么优化 ELBO”是变分类必考题。

后验 $p(z|x)$ 的积分通常不可解析,MCMC 在大模型上不可行;变分把“推断”转化为“优化”,与 SGD 天然兼容,并给出带不确定性的近似后验。代价是近似族受限(均值场假设各维度独立)导致低估后验方差。

完整推导 $\log p(x) = \text{ELBO} + D_{KL}(q \Vert p)$?

如何用 Jensen 不等式证明 ELBO 是 $\log p(x)$ 的下界?

ELBO 的两种等价形式(重构项 + KL 惩罚)如何互相转换?优化 ELBO 为何等价于最小化与后验的 KL?

变分推断与 EM 算法的关系?E 步与 M 步分别做什么?

均值场近似的假设是什么?为什么 VI 倾向于低估后验方差?