GMM 软分配

高斯混合模型 (GMM) 用 $K$ 个高斯分量的加权和建模数据分布 $p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x \mid \mu_k, \Sigma_k)$, 其中混合系数满足 $\sum_k \pi_k = 1, \ \pi_k \ge 0$。参数用 EM 估计: E 步计算责任度 (后验概率, 即软分配) $\gamma_{ik} = \frac{\pi_k \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}$; M 步加权更新 $N_k = \sum_i \gamma_{ik}$, $\pi_k = \tfrac{N_k}{N}$, $\mu_k = \tfrac{1}{N_k} \sum_i \gamma_{ik} x_i$, $\Sigma_k = \tfrac{1}{N_k} \sum_i \gamma_{ik} (x_i - \mu_k)(x_i - \mu_k)^T$。当协方差 $\Sigma_k = \sigma^2 I$ 且 $\sigma \to 0$ 时, 责任度退化为 0/1 硬指派, EM 更新退化为取簇均值——K-Means 正是 GMM 方差趋于零的 EM 特例。

软聚类与密度估计、异常检测 (低似然样本)、说话人识别、图像背景建模、K-Means 效果不佳时的升级; 面试常考责任度公式与“K-Means 是 GMM 特例”的推导。

K-Means 只能硬聚类且假设球形簇; GMM 输出每个样本属于各簇的概率 (可做置信度与不确定性评估), 通过各分量协方差拟合椭圆、不同尺度与方向的簇。代价是参数多——每个高斯含 $d + \tfrac{d(d+1)}{2}$ 个协方差参数——且似然非凸, 需 K-Means++ 初始化并对协方差加约束 (对角/共享/正则化) 防奇异退化。

检验攻克程度：针对「GMM 软分配」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。