M2-055M2: 经典机器学习聚类Medium
⚡闪卡盲测➔掌握度:

推导/描述 EM 算法的两步,并说明为什么它单调提升似然。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-056 →
📐 核心数学机理公式
Q(θ∣θt)=∑i∑kγiklog⁡p(xi,zi=k∣θ)γikQ(\theta\mid\theta^{t})=\sum_i\sum_k \gamma_{ik}\log\frac{p(x_i,z_i=k\mid\theta)}{\gamma_{ik}}
⚡ 一句话直击要害答案
E 步算后验责任度,M 步最大化期望完全数据对数似然;每轮提升(或不变)观测似然。

📌 核心要点提炼

  • •
    保证收敛到局部最优
  • •
    初始化影响大 → 多次重启

📐 数学机理与严密推导

EM 的推导:设隐变量 z(如 GMM 中样本属于哪个分量),完全数据对数似然为 log p(x,z|θ)。因 z 不可观测,改用其期望——E 步计算 z 的后验分布 γ_{ik}=P(zᵢ=k|xᵢ,θᵗ)(对 GMM 即'责任度':样本 i 属于分量 k 的概率);M 步最大化 Q(θ|θᵗ)=E_{z|x,θᵗ}[log p(x,z|θ)]=ΣᵢΣₖγ_{ik}log[p(xᵢ,zᵢ=k|θ)/γ_{ik}]。单调性证明:log p(x|θ)=Q(θ|θᵗ)−H(θ|θᵗ)+KL(γ‖p(z|x,θ)),其中最后一项 ≥0;M 步使 Q 增大(或不变),而 E 步选择 γ 使 KL=0。因此 log p(x|θᵗ⁺¹) ≥ log p(x|θᵗ) + [Q(θᵗ⁺¹|θᵗ)−Q(θᵗ|θᵗ)] ≥ log p(x|θᵗ)。即每轮迭代观测似然单调不减,配合有界性保证收敛(到局部最优或鞍点)。

🏭 深度剖析与工业落地权衡

实践要点:① 收敛性局限——单调不减保证收敛,但只到局部最优(似然可能多峰),且收敛可能是鞍点;故需多次随机重启(不同初始化)取最优似然。② 收敛速度——EM 通常前几步快、后期慢(线性收敛,接近最优时步长变小);可用 Aitken 加速或改用二阶方法(但代价高)。③ 初始化策略——K-means 的结果常作为 GMM 的初始化(均值取 K-means 中心);或用多次随机初始化。④ 与梯度上升的关系——EM 可视为'用 Jensen 不等式构造的下界做坐标上升',它自动保证单调性(无需调学习率),但每步计算量更大(需算全部责任度)。⑤ 退化问题——GMM 中若某分量塌缩到单个点,协方差趋于 0、似然趋于无穷(病态解);解法是加协方差下界(regularization)、或使用贝叶斯 GMM(加先验)。⑥ 变体——变分 EM(VI)、Monte Carlo EM(M 步用采样近似)用于更复杂模型。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 EM 保证全局最优(只到局部最优)
  • ✕
    不做多次重启(初始化敏感)
🎯 面试官连环追问与延伸考察
  • ?
    EM 与梯度上升的关系?
  • ?
    为什么 EM 收敛慢?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-054: 比较 K-means、GMM(EM)与 DBSCAN。📋 返回题库下一题 →M2-056: 如何评估聚类质量(无标签)?内部与外部指标各有哪些。