朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理的生成式分类器,核心假设是给定类别 $C$ 时各特征条件独立。由贝叶斯定理

先验 $P(C)$ 与各特征似然的乘积决定后验,取后验最大者为预测类;归一化分母 $P(x)$ 对所有类别相同,可在 argmax 中约去。参数估计方式决定三种变体:多项式朴素贝叶斯(计数特征、多项分布,适合词频文本)、高斯朴素贝叶斯(连续特征拟合 $P(x_i \mid C) = \mathcal{N}(x_i; \mu_{C,i}, \sigma_{C,i}^2)$)、伯努利朴素贝叶斯(0/1 二值特征、伯努利分布)。若某“特征-类别”组合在训练集中计数为 0,乘积后验将整体为 0,故用拉普拉斯平滑

其中 $N_y$ 为类别 $y$ 的样本数、$N_{y,x_i}$ 为类别 $y$ 中特征 $x_i$ 出现次数、$|V|$ 为特征取值数,取 $\alpha = 1$ 即加一平滑。

文本分类(垃圾邮件、情感分析)、高维稀疏特征的快速基线、在线增量学习;面试常考条件独立假设的推导、与逻辑回归的对比。

在高维离散特征上以生成式视角建模,参数个数随特征数线性增长,无需迭代训练、支持流式增量更新;代价是条件独立假设过强 — 特征强相关时概率估计有偏,但分类决策边界往往仍可接受,且对噪声特征稳健。

检验攻克程度：针对「朴素贝叶斯」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。