Clustering Algorithms: 比较 K-means、GMM（EM）与 DBSCAN。

Core Concept: K-means 硬分配+球形；GMM 软分配+椭圆+概率模型；DBSCAN 密度聚类，可发现任意形状与噪声。

三者假设与能力对比：① <strong>K-means</strong>——硬分配（每点属于一个簇）、隐式假设球形等方差簇、目标是最小化簇内平方和；优点是简单快速（O(nKd) 每次迭代）、可扩展；缺点是无法表达簇的形状/大小差异、对初始化与异常值敏感、需预先指定 K。② <strong>GMM</strong>——软分配（每点以概率属于各簇）、假设每簇为高斯分布（可学协方差矩阵 → 椭圆簇）、用 EM 最大化似然；优点是可给出后验概率（不确定性）、能表达椭圆与重叠簇、可用 BIC 选 K；缺点是对初始化敏感（可能收敛到局部最优）、协方差矩阵参数量 O(Kd²)（高维下需约束为对角/球形）、对异常值敏感。③ <strong>DBSCAN</strong>——基于密度（核心点：邻域内点数 ≥ minPts；密度可达的点连成簇），<strong>无需指定簇数</strong>、能发现<strong>任意形状</strong>的簇、天然识别噪声点；缺点是对参数（eps、minPts）<strong>极其敏感</strong>（eps 稍变结果剧变）、对密度差异大的数据失效（单一 eps 无法适应多密度）。

实践选择与联系：① <strong>EM 与 K-means 的关系</strong>——K-means 是 GMM 的<strong>极限情形</strong>：当 GMM 的所有协方差矩阵固定为 σ²I 且 σ→0 时，后验概率趋于 one-hot（软分配退化为硬分配），EM 退化为 K-means。这解释了为什么 K-means 是'硬'GMM。② <strong>选择依据</strong>——数据量大、簇近似球形 → K-means；需概率输出或椭圆簇 → GMM；簇形状任意、含噪声 → DBSCAN；密度差异大 → <strong>HDBSCAN</strong>（层次化 DBSCAN，自动适应多密度，无需 eps）。③ <strong>评估</strong>——有标签时用 ARI/NMI；无标签时用轮廓系数（凸簇）、Calinski-Harabasz、Davies-Bouldin；但<strong>无标签指标偏向凸簇</strong>，对 DBSCAN 的结果可能给出误导性低分。④ <strong>高维问题</strong>——所有基于距离的方法在高维下都受维度灾难影响，聚类前应降维（如先 PCA 到 10–50 维）。