EM 算法

EM (期望最大化) 是含隐变量模型做极大似然估计的通用框架, 交替迭代 E 步与 M 步直到收敛。E 步固定当前参数 $\theta^{(t)}$, 构造完整数据对数似然对隐变量后验的期望 (下界): $Q(\theta \mid \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)]$; M 步极大化该期望得新参数 $\theta^{(t+1)} = \arg\max_{\theta} Q(\theta \mid \theta^{(t)})$。由 Jensen 不等式 (对数凹), $\log p(X \mid \theta) \ge \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)] + H$, 其中 $H$ 是与 $\theta$ 无关的常数 (隐变量后验的熵)——EM 每次迭代都在提升对数似然的下界, 保证 $\log p(X \mid \theta)$ 单调不降, 但仅收敛到局部最优。

GMM、HMM (Baum-Welch)、缺失数据填补、因子分析/概率 PCA、机器翻译对齐; 面试必考 E/M 步定义、Jensen 下界与收敛性证明。

直接极大化 $\log p(X \mid \theta)$ 需要计算含隐变量的求和/积分, 通常不可解; EM 用“补全数据”技巧把难问题拆成两步——E 步求隐变量后验 (软补全), M 步在补全的充分统计量上闭式更新, 每步计算可行且似然单调上升。代价是初始化敏感、只能收敛到局部最优 (常用 K-Means 初始化 GMM)。

写出 EM 的 E 步 $Q(\theta \mid \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)]$ 与 M 步定义? 为什么叫“期望-最大化”?

用 Jensen 不等式证明 EM 每次迭代使 $\log p(X \mid \theta)$ 单调不降; 下界何时取等?

EM 收敛到全局最优还是局部最优? 为什么对初始值敏感? 常用初始化策略有哪些 (K-Means 初始化 GMM)?

EM 的适用条件: 隐变量具体指什么? 如何用 EM 处理缺失数据? 与直接梯度上升最大化的区别?

E 步的计算复杂度如何随隐变量取值个数增长? GMM 与 HMM (Baum-Welch) 分别是 EM 的哪个特例?