M2-098M2: 经典机器学习正则化Hard
⚡闪卡盲测➔掌握度:
解释谱范数正则化与 Lipschitz 约束的关系
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
谱范数 = 层的 Lipschitz 常数;约束谱范数即约束输出对输入的敏感度。
📌 核心要点提炼
- •谱范数正则惩罚最大奇异值
- •谱归一化(SN)直接除以谱范数
📐 数学机理与严密推导
数学关系:对多层网络 f(x)=W_Lσ(…σ(W_1x)…),若激活函数的 Lipschitz 常数为 1(ReLU、LeakyReLU、以及有界导数的激活都满足),则整个网络的 Lipschitz 常数满足 ‖f‖_Lip ≤ Πₗ‖Wₗ‖₂(每层的谱范数之积)。因此约束每层的谱范数 ≤1 就保证整个网络是 1-Lipschitz。Lipschitz 约束的含义:‖f(x)−f(x')‖≤L‖x−x'‖,即输入的微小扰动(如对抗扰动)最多被放大 L 倍——这直接决定了对抗鲁棒性(若 L 小,则小扰动不会大幅改变输出)。两种实现:① 谱正则化——在损失中加入 Σₗ‖Wₗ‖₂(谱范数)作为惩罚项,用幂迭代估计 σ_max,软约束;② 谱归一化(Spectral Normalization)——直接把每层权重除以它的谱范数(W←W/σ_max(W)),硬约束为 1-Lipschitz,这是 SN-GAN 与对抗训练的标准做法(计算便宜:每步一次幂迭代)。
🏭 深度剖析与工业落地权衡
实践要点:① 为什么优于 L2——L2 正则惩罚 ‖W‖_F²(所有奇异值平方和),会同时收缩大奇异值与小奇异值;而 Lipschitz 只由最大奇异值决定,故谱范数正则更直接地控制敏感度(L2 可能把大奇异值收缩得不够而小奇异值收缩过度)。② GAN 中的应用——WGAN 要求 critic 是 1-Lipschitz,最初用 weight clipping(粗暴、导致参数集中在边界),后改 WGAN-GP(梯度惩罚)与 SN(谱归一化);SN 因其高效稳定成为主流(SN-GAN)。③ 对抗鲁棒性——理论上,Lipschitz 常数小的模型对对抗扰动更鲁棒;实践中谱归一化 + 对抗训练是提升鲁棒性的标准组合。④ 其他应用——流模型(Normalizing Flow) 需约束 Lipschitz 保证可逆性与稳定性;扩散模型的 Lipschitz 约束用于稳定性分析;度量学习中用 Lipschitz 约束保证嵌入的平滑性。⑤ 计算成本——幂迭代近似 σ_max 需每步额外几次矩阵-向量乘(成本约为前向的 5–10%),可接受;精确 SVD 太贵不可用。⑥ 局限——谱范数约束的是最坏情况的敏感度(全局上界),可能过于保守(牺牲正常样本的精度);实践中常用近似约束(如软惩罚)平衡。
⚠️ 常见面试陷阱与高频失分点
- ✕用 L2 正则代替 Lipschitz 约束(两者不等价)
- ✕用精确 SVD 计算谱范数(应使用幂迭代)
🎯 面试官连环追问与延伸考察
- ?为什么 Lipschitz 约束提升鲁棒性?
- ?谱正则与 L2 正则的差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!