M1-026M1: 数学与统计基础凸优化与 KKTEasy
⚡闪卡盲测➔掌握度:
定义凸集、凸函数,并说明凸性为什么重要。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
凸集内任两点连线仍在集合内;凸函数在两点连线之上。凸问题的局部最优即全局最优。
📌 核心要点提炼
- •判定:海森半正定
- •常见凸函数:范数、hinge、log-sum-exp、负熵
- •逻辑回归、SVM、LASSO 都是凸问题
📐 数学机理与严密推导
凸集的定义是'对任意两点,连线上的点仍在集合内'(对加法与正数乘封闭);凸函数定义为 f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)——几何上是'函数图像在任意割线之下'。等价的一阶条件:f(y)≥f(x)+∇f(x)ᵀ(y−x),即一阶泰勒展开是全局下界(凸函数没有'隐藏的下降方向');二阶条件是海森半正定。凸性之所以重要,是因为它消除了优化中最大的不确定性:局部最优即全局最优,且最优解集是凸集,任何收敛到驻点的算法都收敛到全局最优。这使收敛性、复杂度、对偶性都有严格保证。
🏭 深度剖析与工业落地权衡
在 ML 中的分布:凸问题——线性/逻辑回归(负对数似然凸)、SVM(hinge + L2 凸)、LASSO/岭回归、最大熵模型、部分矩阵补全(核范数);非凸问题——神经网络(参数空间非凸)、K-means(离散分配)、高斯混合(EM 只保证局部最优)、矩阵分解、深度强化学习。非凸问题的实用策略是:① 依赖良好的初始化(K-means++、Xavier/Kaiming)与多次重启;② 接受局部最优但用验证集选择;③ 利用'所有局部最优值接近'的实证规律(过参数化网络的损失景观相对良性)。此外,凸函数族(范数、log-sum-exp、负熵、指数、仿射函数的复合规则)可组合出大量实用目标,掌握凸性判定规则(保凸运算)能快速判断一个新损失是否可全局求解。
⚠️ 常见面试陷阱与高频失分点
- ✕认为凸性只是理论性质(它直接决定算法能否保证全局最优)
- ✕忽略非凸问题中初始化的重要性
🎯 面试官连环追问与延伸考察
- ?哪些常见 ML 问题是非凸的?(神经网络、K-means、矩阵分解)
- ?如何判断一个函数是否凸?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚