Convex Optimization & KKT: 解释次梯度与近端算子（proximal operator），以及它们在 L1 优化中的作用。

Core Concept: 次梯度是凸函数不可导点的梯度集合；近端算子把'梯度步'与'正则项收缩'解耦，软阈值即 L1 的近端算子。

<strong>次梯度</strong>是凸函数在不可导点处梯度的推广：∂f(x)={g: f(y)≥f(x)+gᵀ(y−x) ∀y}，是满足一阶下界条件的所有 g 的集合。对 f(x)=|x|，x≠0 时 ∂f={sign(x)}，x=0 时 ∂f=[−1,1]。它给出最优性条件 0∈∂f(x*)——这是 L1 问题'系数恰为零'的数学来源。<strong>近端算子</strong>定义为 prox_{ηf}(v)=argmin_x{½‖x−v‖²+ηf(x)}，即'在接近 v 的同时最小化 f'。它把目标 f+g（一个可微、一个不可微）的优化分解为两步：先沿可微部分做梯度步，再对不可微部分做近端映射——这就是<strong>近端梯度法</strong>（proximal gradient）的核心。

L1 的近端算子就是<strong>软阈值</strong>：prox_{ηλ‖·‖₁}(v)ᵢ=sign(vᵢ)max(|vᵢ|−ηλ,0)，即把绝对值小于阈值 ηλ 的分量置零、其余向零收缩。这解释了为什么 L1 优化天然产生稀疏解。与<strong>硬阈值</strong>（保留最大的 k 个、其余置零，对应 L0 正则）相比，软阈值是连续的（输入微小变化不会导致输出突变），因此 L1 问题比 L0 更易优化（L0 是 NP-hard 的组合问题）。算法层面：ISTA（迭代软阈值）收敛率 O(1/k)，FISTA（加 Nesterov 加速）提升到 O(1/k²)；坐标下降在大规模稀疏问题上更高效；ADMM 适合带多个非光滑项的问题。近端算子的思想也延伸到深度学习——ProxAdam、近端正则化（如谱范数约束）都借用了这一分解。