M1-027M1: 数学与统计基础凸优化与 KKTMedium
⚡闪卡盲测➔掌握度:
写出 KKT 条件,并说明互补松弛的含义。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
KKT = 平稳性 + 原始可行 + 对偶可行 + 互补松弛;互补松弛说明'不起作用的约束乘子为 0'。
📌 核心要点提炼
- •凸问题下 KKT 是充要条件
- •SVM 的支持向量正是 μ_i>0 的样本
📐 数学机理与严密推导
KKT 条件是不等式约束优化的最优性判据,由四部分组成:① 平稳性 ∇f+Σμᵢ∇gᵢ=0(目标梯度被约束梯度平衡);② 原始可行 gᵢ(x)≤0;③ 对偶可行 μᵢ≥0(不等式约束的乘子非负,这是与等式约束拉格朗日的关键差异);④ 互补松弛 μᵢgᵢ(x)=0。互补松弛的含义最深刻:对每个约束,要么约束起作用(gᵢ=0 且 μᵢ≥0),要么乘子为零(gᵢ——不存在'约束不起作用却仍有非零乘子'的情形。直觉是:若某约束在最优解处远离边界(gᵢ<0),它对最优性没有影响,故乘子(影子价格)必为零。
🏭 深度剖析与工业落地权衡
这个条件在 ML 中有直接的可解释后果:SVM 的支持向量——KKT 互补松弛告诉我们,只有位于间隔边界上(gᵢ=0,即 yᵢ(wᵀxᵢ+b)=1)的样本才有 μᵢ>0,它们才是'支持向量';其余样本(gᵢ<0,μᵢ=0)对决策边界无贡献。这解释了 SVM 的两个重要性质:① 决策边界只由少数支持向量决定,故对非支持向量的扰动鲁棒;② 计算复杂度与支持向量数成正比而非样本总数。另一个应用是稀疏性来源:L1 正则(LASSO)的最优性条件包含次梯度 μ∈∂‖w‖₁,其互补条件使大量 wⱼ=0。需要强调:KKT 对一般非凸问题是必要条件,仅对凸问题(且满足 Slater 条件)才是充分条件。
⚠️ 常见面试陷阱与高频失分点
- ✕认为 KKT 对非凸问题也是充分条件
- ✕忽略 μᵢ≥0 这一对偶可行性条件
🎯 面试官连环追问与延伸考察
- ?为什么只有支持向量影响 SVM 决策边界?
- ?KKT 与对偶问题的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚