EM 算法

EM (期望最大化) 是含隐变量模型做极大似然估计的通用框架, 交替迭代 E 步与 M 步直到收敛。E 步固定当前参数 $\theta^{(t)}$, 构造完整数据对数似然对隐变量后验的期望 (下界): $Q(\theta \mid \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)]$; M 步极大化该期望得新参数 $\theta^{(t+1)} = \arg\max_{\theta} Q(\theta \mid \theta^{(t)})$。由 Jensen 不等式 (对数凹), $\log p(X \mid \theta) \ge \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)] + H$, 其中 $H$ 是与 $\theta$ 无关的常数 (隐变量后验的熵)——EM 每次迭代都在提升对数似然的下界, 保证 $\log p(X \mid \theta)$ 单调不降, 但仅收敛到局部最优。

GMM、HMM (Baum-Welch)、缺失数据填补、因子分析/概率 PCA、机器翻译对齐; 面试必考 E/M 步定义、Jensen 下界与收敛性证明。

直接极大化 $\log p(X \mid \theta)$ 需要计算含隐变量的求和/积分, 通常不可解; EM 用“补全数据”技巧把难问题拆成两步——E 步求隐变量后验 (软补全), M 步在补全的充分统计量上闭式更新, 每步计算可行且似然单调上升。代价是初始化敏感、只能收敛到局部最优 (常用 K-Means 初始化 GMM)。

检验攻克程度：针对「EM 算法」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。