HMM 参数学习 Baum-Welch

学习问题是在无状态标注的情况下仅由观测序列估计 HMM 参数 $\lambda = (A, B, \pi)$;Baum-Welch 是 EM 算法在 HMM 上的直接实例。E 步用当前参数 $\lambda^{(old)}$ 经前向-后向算法计算后验:状态后验 $\gamma_t(i) = P(q_t = i \mid O, \lambda) = \frac{\alpha_t(i)\beta_t(i)}{\sum_j \alpha_t(j)\beta_t(j)}$(t 时刻处于状态 i 的概率),转移后验 $\xi_t(i, j) = \frac{\alpha_t(i)\, a_{ij}\, b_j(o_{t+1})\, \beta_{t+1}(j)}{P(O \mid \lambda)}$(t 时刻 i → t+1 时刻 j 的概率);M 步以期望计数重估参数

重复 E/M 步直至似然 $P(O \mid \lambda)$ 收敛。

无监督序列学习 — 无标注分词、语音参数估计、生物序列建模;面试常考 BW 是 EM 特例、收敛性与局部最优。

隐状态缺失使似然直接极大化不可解;EM 框架以期望充分统计量迭代构造并提升似然下界,保证 $P(O \mid \lambda)$ 单调不减;但目标非凸,只能保证局部最优 — 实践中需多次随机初始化、单独选择状态数 $N$,并用缩放版前向-后向(scaled)避免长序列下的数值下溢。

写出 Baum-Welch 的重估公式 $\hat a_{ij} = \frac{\sum_t \xi_t(i,j)}{\sum_t \gamma_t(i)}$,并解释 $\gamma_t(i)$、$\xi_t(i,j)$ 的含义?

Baum-Welch 为什么是 EM 算法的特例?E 步和 M 步分别对应什么?

前向-后向算法如何得到 $\gamma_t(i)$ 和 $\xi_t(i,j)$?(组合 $\alpha_t(i)$、$a_{ij}$、$b_j(o_{t+1})$、$\beta_{t+1}(j)$)

Baum-Welch 一定能收敛到全局最优吗?为什么?如何处理局部最优?

长观测序列下前向-后向计算会有什么数值问题?如何解决?