M1-066M1: 数学与统计基础信息论Hard
⚡闪卡盲测➔掌握度:
什么是 Wasserstein 距离?为什么 GAN 用它?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
推土机距离:把分布 p 搬到 q 的最小代价;即使支撑不重叠也有连续梯度。
📌 核心要点提炼
- •满足度量公理(对称、三角不等式)
- •对支撑不重叠的分布仍提供梯度
- •Kantorovich-Rubinstein 对偶:W=sup_{‖f‖_L≤1}E_p[f]−E_q[f]
📐 数学机理与严密推导
Wasserstein 距离(又称 Earth Mover's Distance)定义为:在所有'把 p 的质输运到 q'的联合分布 γ(边缘分别为 p 和 q)中,最小化输运代价 E_{γ}[‖x−y‖]。直观上它衡量'把一堆土(p)搬成另一堆(q)所需的最小功'。与 KL/JS 的关键差异:① 几何敏感性——当两个分布不重叠时,KL/JS 都是常数(无梯度),而 W 随分布间距线性变化(把土搬得越远代价越大),故提供连续的、有意义的梯度;② 度量性质——W 满足对称性与三角不等式(是真正的度量),KL 不满足;③ 弱拓扑下的收敛——W 收敛等价于分布弱收敛(含矩收敛),比 KL 的收敛要求更弱更实用。计算的对偶形式(Kantorovich-Rubinstein):W=sup_{‖f‖_L≤1} (E_p[f]−E_q[f]),即对所有 1-Lipschitz 函数的期望差取上确界。
🏭 深度剖析与工业落地权衡
WGAN 的实现与要点:① 对偶形式的可用性——用神经网络 f_θ(称为 critic,而非 discriminator)最大化 E_p[f]−E_q[f],同时约束 f 是 1-Lipschitz;损失为 −E_p[f]+E_q[f](没有 log、没有 sigmoid)。② Lipschitz 约束的近似——原始 WGAN 用 weight clipping(把权重裁到 [−c,c]),但会导致参数集中在边界、训练不稳;WGAN-GP 改用梯度惩罚 λE[(‖∇_x f(x̂)‖₂−1)²](x̂ 是真实与生成样本间的随机插值点),效果好但计算贵;谱归一化(spectral normalization) 用最大奇异值约束每层,是更高效的替代(SN-GAN)。③ 实际收益——WGAN 的 critic 损失与生成质量相关(可作训练监控指标),而原始 GAN 的 discriminator 损失不相关;训练更稳定、模式崩溃更少。④ 局限——高维下 W 的估计困难(对偶形式需搜索所有 Lipschitz 函数)、Lipschitz 约束的近似引入偏差、计算成本高于原始 GAN。
⚠️ 常见面试陷阱与高频失分点
- ✕把 weight clipping 当作 Lipschitz 约束的最佳实现(WGAN-GP 更好)
- ✕认为 W 可以精确计算(高维下只能近似)
🎯 面试官连环追问与延伸考察
- ?为什么它比 KL/JS 更适合 GAN?
- ?如何近似计算它?(WGAN-GP)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚