M2-036M2: 经典机器学习SVM 与核方法Easy
⚡闪卡盲测➔掌握度:
解释 SVM 的间隔最大化思想与支持向量的作用。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
寻找最大间隔超平面;只有位于间隔边界上的支持向量决定解。
📌 核心要点提炼
- •等价于最小化 ½‖w‖²
- •支持向量对应 μ_i>0 的样本
📐 数学机理与严密推导
间隔最大化的几何与数学:分类超平面 wᵀx+b=0,样本到它的距离为 |wᵀxᵢ+b|/‖w‖。要求所有样本被正确分类且位于间隔外:yᵢ(wᵀxᵢ+b)≥1(这是归一化后的约束,可通过缩放 w、b 实现)。此时间隔宽度为 2/‖w‖,最大化间隔等价于最小化 ½‖w‖²(便于求导)。这是一个凸二次规划问题。对偶与支持向量:用拉格朗日对偶求解,得到 αᵢ≥0 的乘子;由 KKT 互补松弛,只有 yᵢ(wᵀxᵢ+b)=1 的样本(恰在间隔边界上)才有 αᵢ>0——这些就是支持向量。最终 w=Σαᵢyᵢxᵢ 只涉及支持向量,决策函数也只依赖支持向量的内积,故非支持向量的扰动不影响决策边界。
🏭 深度剖析与工业落地权衡
实践要点:① 稀疏性与鲁棒性——支持向量通常只占少数样本,故 SVM 对非支持向量的噪声鲁棒;但支持向量本身的噪声会直接影响边界(尤其标签错误的支持向量),这是 SVM 对噪声标签敏感的原因。② 硬间隔 vs 软间隔——硬间隔要求完全可分(现实中很少成立且对噪声零容忍),软间隔引入松弛变量 ξᵢ 允许违反约束,用 C 控制惩罚强度:C 大→接近硬间隔(低偏差高方差),C 小→更宽容(高偏差低方差)。③ 核技巧的基础——对偶形式只涉及内积 ⟨xᵢ,xⱼ⟩,可直接替换为核函数 K(xᵢ,xⱼ) 实现非线性分类而无需显式映射到高维——这是 SVM 相对其他线性模型的核心优势。④ 计算复杂度——训练 O(n²–n³)(取决于样本数),故不适合超大规模数据;预测复杂度与支持向量数成正比。
⚠️ 常见面试陷阱与高频失分点
- ✕认为 SVM 对噪声标签鲁棒(支持向量的标签错误会直接扭曲边界)
- ✕在大规模数据上直接使用核 SVM(应改用线性 SVM 或近似方法)
🎯 面试官连环追问与延伸考察
- ?为什么只有支持向量重要?
- ?硬间隔与软间隔的区别?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!