M2-037M2: 经典机器学习SVM 与核方法Easy
⚡闪卡盲测➔掌握度:
写出软间隔 SVM 的目标,并解释 C 的作用。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
引入松弛变量允许违反间隔;C 控制对违反的惩罚强度。
📌 核心要点提炼
- •C 大 → 低偏差高方差(过拟合)
- •C 小 → 高偏差低方差
📐 数学机理与严密推导
软间隔的构造:引入松弛变量 ξᵢ≥0 允许样本落在间隔内(0<ξᵢ<1,仍分类正确)甚至被错分(ξᵢ>1),约束变为 yᵢ(wᵀxᵢ+b)≥1−ξᵢ。目标为 ½‖w‖²+C·Σξᵢ:第一项最大化间隔(正则),第二项惩罚违反(损失)。C 的角色等价于正则化强度的倒数:C 大 → 惩罚违反严厉 → 尽量拟合所有样本 → 低偏差高方差(类似小 λ 的正则);C 小 → 容忍更多违反 → 更宽的间隔、更简单的边界 → 高偏差低方差。等价形式:软间隔 SVM 可写为 min ½‖w‖²+C·Σmax(0,1−yᵢ(wᵀxᵢ+b)),即 L2 正则 + hinge 损失,其中 hinge loss = max(0,1−margin) 在 margin≥1 时为 0(稀疏梯度)。
🏭 深度剖析与工业落地权衡
实践要点:① hinge vs logistic loss——hinge(SVM)在 margin>1 时损失与梯度均为 0,故解稀疏(只有支持向量贡献);logistic(逻辑回归)在所有点都有非零梯度,故解稠密(所有样本都影响)。这是两者最大的结构差异。② hinge 不可导——在 margin=1 处不可导,需用次梯度或对偶求解;这也是 SVM 常用 QP 求解器的原因。③ C 的调参——在对数尺度上网格搜索(如 2⁻⁵…2⁵),配合交叉验证;C 与 γ(RBF 核)需联合调优(二维网格)。④ 不平衡数据——可用类权重(Cᵢ=C·w_{yᵢ},少数类给更大权重),或调整决策阈值。⑤ SVM 不输出概率——需用 Platt scaling(在验证集上拟合 sigmoid 把决策值转为概率)或 isotonic 校准,且校准后概率的可靠性依赖校准集大小。
⚠️ 常见面试陷阱与高频失分点
- ✕认为 C 越大越好(过拟合)
- ✕把 SVM 的决策值当作概率使用(需校准)
🎯 面试官连环追问与延伸考察
- ?C 与正则化强度的关系?
- ?hinge loss 与 logistic loss 的区别?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!