MCMC 与细致平衡

马尔可夫链蒙特卡洛 (MCMC) 构造以目标分布 $\pi$ 为平稳分布的马尔可夫链并沿链取样本。Metropolis-Hastings 每步从提议分布 $q(j \mid i)$ 采样候选 $j$,以接受率

决定接受,被拒则留在 $i$。设 $r = \pi(j) q(i \mid j) / (\pi(i) q(j \mid i))$,当 $r \ge 1$ 时 $\alpha(i,j) = 1$、反向接受率取 $1/r$,逐对代入可得 MH 链满足细致平衡 $\pi(i) q(j \mid i) \alpha(i,j) = \pi(j) q(i \mid j) \alpha(j,i)$,故 $\pi$ 平稳;且 $\pi$ 只需差常数倍(归一化常数在比值中约掉)。Gibbs 采样是特例:每次仅更新一个坐标 $x_k$,从条件分布 $\pi(x_k \mid x_{\setminus k})$ 采样,由条件分布定义知接受率恒为 1、无需拒绝。

贝叶斯后验推断、潜变量模型(LDA、混合高斯)、高维联合分布采样;面试常考 MH 接受率推导、Gibbs 与 MH 的关系。

高维下拒绝采样接受率按 $1/M$ 崩塌、重要性采样权重方差爆炸,MCMC 用自相关样本换取正接受率,是目前唯一通用的高维采样框架;代价是样本自相关 — 需要 burn-in 丢弃链前段非平稳样本,并以接受率(经验值 0.2–0.5)与 Gelman-Rubin $\hat R$ 等诊断收敛。

推导 MH 接受率 $\alpha = \min(1, \pi(j) q(i \mid j)/(\pi(i) q(j \mid i)))$,并验证该链满足细致平衡(即平稳分布为 $\pi$)?

Gibbs 采样与 MH 的关系:为什么 Gibbs 每步接受率恒为 1?证明之?

什么是 burn-in?为什么需要?如何诊断收敛(Gelman-Rubin $\hat R$、迹图、接受率)?

对称提议 $q(j \mid i) = q(i \mid j)$ 时接受率退化成什么(Metropolis 算法)?

未归一化的 $\pi$ 能用 MCMC 吗?接受率中的 $\pi$ 为什么只需差常数倍?