贝叶斯推断

贝叶斯推断把参数 $\theta$ 视为随机变量,由先验 $p(\theta)$ 与似然 $p(x|\theta)$ 合成后验分布: $p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)} = \frac{p(x|\theta)p(\theta)}{\int p(x|\theta)p(\theta)\,d\theta}$,即 后验 $\propto$ 似然 $\times$ 先验,分母证据 $p(x)$ 只是归一化常数。共轭先验保证后验与先验同族、解析可算: Beta 先验 + 二项似然 → Beta 后验;正态先验 + 正态似然 → 正态后验;Gamma 先验 + 泊松似然 → Gamma 后验。

小样本估计、在线学习(每批数据后验变先验的序列更新)、不确定性量化(后验方差即参数不确定度)、贝叶斯神经网络与贝叶斯优化;面试常以 MLE / MAP / 后验三者对比开题。

频率学派只给点估计与置信区间,无法注入先验知识、无法表达参数不确定性;贝叶斯给出完整后验分布,小样本下先验充当正则化,避免过拟合。代价是后验积分通常无闭式解 — 需依赖共轭先验、MCMC 或变分近似。

写出贝叶斯后验公式并解释每一项?后验如何随数据量变化?

MLE、MAP 与贝叶斯推断的区别?MAP 是后验的什么估计?

什么是共轭先验?举 Beta-二项与正态-正态两个例子。

小样本下贝叶斯相对 MLE 的优势?先验如何起到正则化的作用?

后验积分无解析解时有哪些近似方法(MCMC、变分推断、拉普拉斯近似)?