GMM 软分配

高斯混合模型 (GMM) 用 $K$ 个高斯分量的加权和建模数据分布 $p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x \mid \mu_k, \Sigma_k)$, 其中混合系数满足 $\sum_k \pi_k = 1, \ \pi_k \ge 0$。参数用 EM 估计: E 步计算责任度 (后验概率, 即软分配) $\gamma_{ik} = \frac{\pi_k \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}$; M 步加权更新 $N_k = \sum_i \gamma_{ik}$, $\pi_k = \tfrac{N_k}{N}$, $\mu_k = \tfrac{1}{N_k} \sum_i \gamma_{ik} x_i$, $\Sigma_k = \tfrac{1}{N_k} \sum_i \gamma_{ik} (x_i - \mu_k)(x_i - \mu_k)^T$。当协方差 $\Sigma_k = \sigma^2 I$ 且 $\sigma \to 0$ 时, 责任度退化为 0/1 硬指派, EM 更新退化为取簇均值——K-Means 正是 GMM 方差趋于零的 EM 特例。

软聚类与密度估计、异常检测 (低似然样本)、说话人识别、图像背景建模、K-Means 效果不佳时的升级; 面试常考责任度公式与“K-Means 是 GMM 特例”的推导。

K-Means 只能硬聚类且假设球形簇; GMM 输出每个样本属于各簇的概率 (可做置信度与不确定性评估), 通过各分量协方差拟合椭圆、不同尺度与方向的簇。代价是参数多——每个高斯含 $d + \tfrac{d(d+1)}{2}$ 个协方差参数——且似然非凸, 需 K-Means++ 初始化并对协方差加约束 (对角/共享/正则化) 防奇异退化。

写出 GMM 的概率密度 $p(x) = \sum_k \pi_k \mathcal{N}(x \mid \mu_k, \Sigma_k)$ 与责任度 $\gamma_{ik}$ 公式? 为什么 $\gamma_{ik}$ 满足 $\sum_k \gamma_{ik} = 1$?

为什么说 K-Means 是 GMM 在 $\Sigma_k \to 0$ 时的 EM 特例? 责任度如何退化为硬 0/1 指派?

推导 GMM 的 M 步更新 $\pi_k = \tfrac{N_k}{N}$, $\mu_k = \tfrac{1}{N_k} \sum_i \gamma_{ik} x_i$? 为什么是加权均值?

GMM 与 K-Means 的聚类结果何时明显不同? 软分配的额外价值 (置信度、异常检测) 是什么?

GMM 的参数数量与过拟合风险? 协方差退化为奇异解的原因与常见约束?