朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理的生成式分类器,核心假设是给定类别 $C$ 时各特征条件独立。由贝叶斯定理

先验 $P(C)$ 与各特征似然的乘积决定后验,取后验最大者为预测类;归一化分母 $P(x)$ 对所有类别相同,可在 argmax 中约去。参数估计方式决定三种变体:多项式朴素贝叶斯(计数特征、多项分布,适合词频文本)、高斯朴素贝叶斯(连续特征拟合 $P(x_i \mid C) = \mathcal{N}(x_i; \mu_{C,i}, \sigma_{C,i}^2)$)、伯努利朴素贝叶斯(0/1 二值特征、伯努利分布)。若某“特征-类别”组合在训练集中计数为 0,乘积后验将整体为 0,故用拉普拉斯平滑

其中 $N_y$ 为类别 $y$ 的样本数、$N_{y,x_i}$ 为类别 $y$ 中特征 $x_i$ 出现次数、$|V|$ 为特征取值数,取 $\alpha = 1$ 即加一平滑。

文本分类(垃圾邮件、情感分析)、高维稀疏特征的快速基线、在线增量学习;面试常考条件独立假设的推导、与逻辑回归的对比。

在高维离散特征上以生成式视角建模,参数个数随特征数线性增长,无需迭代训练、支持流式增量更新;代价是条件独立假设过强 — 特征强相关时概率估计有偏,但分类决策边界往往仍可接受,且对噪声特征稳健。

写出朴素贝叶斯分类公式 $P(C \mid x) \propto P(C)\prod_i P(x_i \mid C)$,并说明“朴素”假设是什么、分母 $P(x)$ 为什么可省略?

为什么需要拉普拉斯平滑?写出平滑公式 $\hat P = \frac{N_{y,x_i}+\alpha}{N_y+\alpha|V|}$,零概率如何被避免?

多项式、高斯、伯努利三种朴素贝叶斯变体分别适用于什么类型的特征?

朴素贝叶斯是生成式还是判别式?与逻辑回归在小数据、特征相关性强时表现有何不同?

条件独立假设被违反时会发生什么?为什么现实任务中它仍常给出可用的分类结果?