软间隔 C 与 Hinge

数据线性不可分时硬间隔 (要求 $y_i(w^Tx_i + b) \ge 1$) 无可行解。软间隔引入松弛变量 $\xi_i \ge 0$, 允许样本越界但付出线性惩罚: $\min_{w,b,\xi} \frac{1}{2}\Vert w\Vert^2 + C\sum_{i=1}^{n}\xi_i$ s.t. $y_i(w^Tx_i + b) \ge 1 - \xi_i$。消去 $\xi_i$ 得等价无约束形式 $\min_w \frac{1}{2}\Vert w\Vert^2 + C\sum_i \max(0, 1 - y_i f(x_i))$, 其中 hinge loss $\max(0, 1 - y f(x))$ 是 $0\text{-}1$ 损失的凸上界, 且 $y f(x) \ge 1$ 时梯度为 0。超参数 $C$ 权衡间隔宽度与误分类惩罚: $C \to \infty$ 退化为硬间隔 (零容忍、易过拟合), $C \to 0$ 忽略错分 (间隔最大、欠拟合)。

面试常考 hinge loss 与对数损失的对比、$C$ 的偏差-方差解释、对偶中约束如何从 $\alpha_i \ge 0$ 变为 $0 \le \alpha_i \le C$。

硬间隔对单个离群点极其敏感 (一个越界点就能完全改写边界); 软间隔用 hinge 线性惩罚使边界鲁棒——hinge 只惩罚间隔内的样本 ($y f(x) < 1$), 已正确且高置信的样本 ($y f(x) \ge 1$) 零梯度, 天然稀疏, 对比对数损失对全部样本连续惩罚; 对偶问题只需把约束换成盒式约束 $0 \le \alpha_i \le C$, 仍为凸 QP, 与核技巧无缝结合 (支持向量分为间隔上 $0 < \alpha_i < C$ 与间隔内 $\alpha_i = C$ 两类)。

检验攻克程度：针对「软间隔 C 与 Hinge」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。