Convex Optimization & KKT: 写出 KKT 条件，并说明互补松弛的含义。

Core Concept: KKT = 平稳性 + 原始可行 + 对偶可行 + 互补松弛；互补松弛说明'不起作用的约束乘子为 0'。

KKT 条件是不等式约束优化的最优性判据，由四部分组成：① <strong>平稳性</strong> ∇f+Σμᵢ∇gᵢ=0（目标梯度被约束梯度平衡）；② <strong>原始可行</strong> gᵢ(x)≤0；③ <strong>对偶可行</strong> μᵢ≥0（不等式约束的乘子非负，这是与等式约束拉格朗日的关键差异）；④ <strong>互补松弛</strong> μᵢgᵢ(x)=0。互补松弛的含义最深刻：对每个约束，<strong>要么约束起作用（gᵢ=0 且 μᵢ≥0），要么乘子为零（gᵢ<0 且 μᵢ=0）</strong>——不存在'约束不起作用却仍有非零乘子'的情形。直觉是：若某约束在最优解处远离边界（gᵢ<0），它对最优性没有影响，故乘子（影子价格）必为零。

这个条件在 ML 中有直接的可解释后果：<strong>SVM 的支持向量</strong>——KKT 互补松弛告诉我们，只有位于间隔边界上（gᵢ=0，即 yᵢ(wᵀxᵢ+b)=1）的样本才有 μᵢ>0，它们才是'支持向量'；其余样本（gᵢ<0，μᵢ=0）对决策边界无贡献。这解释了 SVM 的两个重要性质：① 决策边界只由少数支持向量决定，故对非支持向量的扰动鲁棒；② 计算复杂度与支持向量数成正比而非样本总数。另一个应用是<strong>稀疏性来源</strong>：L1 正则（LASSO）的最优性条件包含次梯度 μ∈∂‖w‖₁，其互补条件使大量 wⱼ=0。需要强调：KKT 对一般非凸问题是<strong>必要条件</strong>，仅对凸问题（且满足 Slater 条件）才是<strong>充分条件</strong>。