重要性采样

重要性采样 (Importance Sampling) 估计期望 $\mathbb{E}_p[f]$ 而不直接从 $p$ 采样:当 $p$ 难采样时,改从易采样的 $q$ 采样并重加权,

权重 $w = p/q$ 校正提议分布与目标的偏差;用样本均值 $\hat\mu = \frac{1}{n} \sum_{i=1}^{n} f(x_i) w(x_i)$ 得到无偏估计。方差为

当 $q$ 尾部比 $p$ 薄、比值 $w$ 不可控时方差爆炸(极端权重问题)。

贝叶斯后验期望、off-policy 强化学习(重要性比 $\pi(a \mid s) / \mu(a \mid s)$)、蒙特卡洛积分方差缩减;面试常考“权重公式、方差条件、最优提议”。

不生成目标样本也能算期望,且一份 $q$ 的样本可同时服务多个目标分布(off-policy 复用);理论最优提议 $q^*(x) \propto p(x) |f(x)|$ 使 $fw \equiv$ 常数、方差为 0,但它的归一化常数未知、仍需从 $p|f|$ 采样,实践中改用厚尾提议,并监控有效样本量 $ESS = 1 / \sum_i \hat{w}_i^2$ 防止权重退化。

检验攻克程度：针对「重要性采样」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。