Support Vector Machines & Kernels: 比较 RBF 核、多项式核与线性核的适用场景。

Core Concept: 线性核高维稀疏快；RBF 适合中小规模非线性；多项式核可建模特征交互但参数敏感。

三种核的特性与适用：① <strong>线性核</strong> K=xᵀx'——等价于线性 SVM，无需调核参数、训练最快（可用 LIBLINEAR 的坐标下降，O(n·p)）、模型可解释（有系数）；适合<strong>高维稀疏</strong>数据（文本 TF-IDF、one-hot），因为此时数据常已线性可分（维度高 → 更容易线性可分），且 RBF 在高维下距离集中（所有点距离趋同）而失效。② <strong>RBF/高斯核</strong> K=exp(−γ‖x−x'‖²)——对应无限维空间，能拟合任意平滑边界；适合<strong>中小规模、低维连续</strong>特征的数据（如 UCI 数据集）；需调 γ 与 C，且<strong>必须做特征标准化</strong>（因为核依赖欧氏距离，量纲不同会使距离被大尺度特征主导）。③ <strong>多项式核</strong> K=(xᵀx'+c)^d——显式建模 d 阶特征交互（类似多项式回归），适合已知存在<strong>特征交互</strong>的场景（如物理/化学数据）；缺点是 d 与 c 需调、数值不稳定（大数的高次幂溢出）、计算比 RBF 贵。

实践选择指南：① <strong>先试线性核</strong>——若数据高维稀疏（p>10⁴），线性核通常足够且快；若线性核表现明显差，再试 RBF。② <strong>γ 的调优</strong>——γ 大 → 每个样本影响范围小 → 边界复杂（过拟合）；γ 小 → 边界近似线性（欠拟合）；常用起点 γ=1/(p·Var(X))（sklearn 的 'scale'）。③ <strong>数值稳定性</strong>——多项式核在高次幂下易溢出，应先用 <code>PolynomialFeatures</code> + 线性核（显式但可控）或改用 RBF。④ <strong>预计算核矩阵</strong>——若自定义核（如字符串核、图核），可预先计算 n×n 核矩阵传给求解器。⑤ <strong>现代替代</strong>——对大规模数据，RBF 核可用<strong>随机傅里叶特征</strong>（Random Fourier Features）近似为线性模型，从而用 SGD 训练，把复杂度从 O(n²) 降到 O(n)。