M1-026M1: 数学与统计基础凸优化与 KKTEasy
⚡闪卡盲测➔掌握度:

定义凸集、凸函数,并说明凸性为什么重要。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-027 →
📐 核心数学机理公式
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\theta)y)\le\theta f(x)+(1-\theta)f(y)
⚡ 一句话直击要害答案
凸集内任两点连线仍在集合内;凸函数在两点连线之上。凸问题的局部最优即全局最优。

📌 核心要点提炼

  • •
    判定:海森半正定
  • •
    常见凸函数:范数、hinge、log-sum-exp、负熵
  • •
    逻辑回归、SVM、LASSO 都是凸问题

📐 数学机理与严密推导

凸集的定义是'对任意两点,连线上的点仍在集合内'(对加法与正数乘封闭);凸函数定义为 f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)——几何上是'函数图像在任意割线之下'。等价的一阶条件:f(y)≥f(x)+∇f(x)ᵀ(y−x),即一阶泰勒展开是全局下界(凸函数没有'隐藏的下降方向');二阶条件是海森半正定。凸性之所以重要,是因为它消除了优化中最大的不确定性:局部最优即全局最优,且最优解集是凸集,任何收敛到驻点的算法都收敛到全局最优。这使收敛性、复杂度、对偶性都有严格保证。

🏭 深度剖析与工业落地权衡

在 ML 中的分布:凸问题——线性/逻辑回归(负对数似然凸)、SVM(hinge + L2 凸)、LASSO/岭回归、最大熵模型、部分矩阵补全(核范数);非凸问题——神经网络(参数空间非凸)、K-means(离散分配)、高斯混合(EM 只保证局部最优)、矩阵分解、深度强化学习。非凸问题的实用策略是:① 依赖良好的初始化(K-means++、Xavier/Kaiming)与多次重启;② 接受局部最优但用验证集选择;③ 利用'所有局部最优值接近'的实证规律(过参数化网络的损失景观相对良性)。此外,凸函数族(范数、log-sum-exp、负熵、指数、仿射函数的复合规则)可组合出大量实用目标,掌握凸性判定规则(保凸运算)能快速判断一个新损失是否可全局求解。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为凸性只是理论性质(它直接决定算法能否保证全局最优)
  • ✕
    忽略非凸问题中初始化的重要性
🎯 面试官连环追问与延伸考察
  • ?
    哪些常见 ML 问题是非凸的?(神经网络、K-means、矩阵分解)
  • ?
    如何判断一个函数是否凸?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-025: 解释二阶充分条件与鞍点,以及深度学习为何不怕鞍点。📋 返回题库下一题 →M1-027: 写出 KKT 条件,并说明互补松弛的含义。