手写 K-Means 向量化聚类迭代

手写 K-Means 向量化迭代聚类算法 (Live Coding: Vectorized K-Means in Pure Numpy) 是考察 MLE 工程师无监督学习理论、期望最大化 (EM) 迭代逻辑与 Numpy 高性能矩阵广播向量化能力的经典手撕题；算法包含两大核心交替步骤：1) E 步 (Expectation / 距离计算与簇分配): 计算 $N$ 个样本与 $K$ 个质心之间的欧氏距离矩阵 $D \in \mathbb{R}^{N \times K}$（利用矩阵恒等式 $|x - c|^2 = |x|^2 + |c|^2 - 2 x c^T$ 实现零 Python 循环的高速广播向量化），将每个样本分配给最近的质心 $r_{ik} = \arg\min_j D_{ij}$；2) M 步 (Maximization / 质心更新): 重新计算每个簇内所有样本的均值坐标作为新质心 $\mu_k = \frac{\sum_{i: r_{ik}=1} x_i}{\sum_{i} r_{ik}}$；3) 迭代终止判定：当质心位移小于阈值 $\epsilon$ 或达到最大迭代轮数时收敛。

向量量化码本聚类 (PQ / IVF)、用户分群分析、无监督数据探索与离群点检测。

用双重 `for` 循环遍历样本计算距离耗时极长（对于 10 万个样本需数十秒）；向量化矩阵广播将执行时间从数十秒压缩至 10ms，且加深对 EM 优化收敛性的理解。

现场写出利用 $|x - c|^2 = |x|^2 + |c|^2 - 2 x c^T$ 矩阵展开实现完全无循环向量化计算距离矩阵的 Pure Numpy 代码？

K-Means++ 初始化算法的数学逻辑：为什么按照样本到最近已有质心距离的平方概率 $P(x) = \frac{D(x)^2}{\sum D(x')^2}$ 采样能极大改善局部最优？

当某个簇在迭代过程中发生“空簇 (Empty Cluster: 没有样本被分配给该质心)”时，代码中的优雅容错与重新随机初始化处理？

K-Means 目标函数（畸变程度 Inertia / 组内平方和 WCSS）的单调下降与局部收敛性数学证明？

Mini-Batch K-Means 算法在亿级海量数据下的流式梯度更新近似与显存节约原理？