MCMC 与细致平衡

马尔可夫链蒙特卡洛 (MCMC) 构造以目标分布 $\pi$ 为平稳分布的马尔可夫链并沿链取样本。Metropolis-Hastings 每步从提议分布 $q(j \mid i)$ 采样候选 $j$,以接受率

决定接受,被拒则留在 $i$。设 $r = \pi(j) q(i \mid j) / (\pi(i) q(j \mid i))$,当 $r \ge 1$ 时 $\alpha(i,j) = 1$、反向接受率取 $1/r$,逐对代入可得 MH 链满足细致平衡 $\pi(i) q(j \mid i) \alpha(i,j) = \pi(j) q(i \mid j) \alpha(j,i)$,故 $\pi$ 平稳;且 $\pi$ 只需差常数倍(归一化常数在比值中约掉)。Gibbs 采样是特例:每次仅更新一个坐标 $x_k$,从条件分布 $\pi(x_k \mid x_{\setminus k})$ 采样,由条件分布定义知接受率恒为 1、无需拒绝。

贝叶斯后验推断、潜变量模型(LDA、混合高斯)、高维联合分布采样;面试常考 MH 接受率推导、Gibbs 与 MH 的关系。

高维下拒绝采样接受率按 $1/M$ 崩塌、重要性采样权重方差爆炸,MCMC 用自相关样本换取正接受率,是目前唯一通用的高维采样框架;代价是样本自相关 — 需要 burn-in 丢弃链前段非平稳样本,并以接受率(经验值 0.2–0.5)与 Gelman-Rubin $\hat R$ 等诊断收敛。

检验攻克程度：针对「MCMC 与细致平衡」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。