M2-041M2: Classical Machine LearningNaive BayesEasy
Mastery:

Naive Bayes: 写出朴素贝叶斯的分类决策式,并说明'朴素'指什么。

📐 Mathematical Definition
y^=arg⁡max⁡yP(y)∏jP(xj∣y)\hat y=\arg\max_y P(y)\prod_j P(x_j\mid y)
⚡ Executive Summary
Core Concept: 假设特征在类别下条件独立;用后验 ∝ 先验 × 各特征似然之积分类。

📌 Key Takeaways

  • •
    条件独立是强假设,常不成立
  • •
    参数量 O(n) 而非 O(2^n)

📐 Mathematical Derivations

决策式的来源:由贝叶斯定理 P(y|x)∝P(y)P(x|y),而 P(x|y) 需建模 n 维联合分布(参数量 O(2ⁿ),不可估计)。<strong>'朴素'指假设特征在给定类别下条件独立</strong>:P(x|y)=ΠⱼP(xⱼ|y),于是参数量降到 O(n·K)(K 为类别数),可用计数直接估计。决策式取 argmax 时连分母 P(x) 都可省略(对所有类别相同):ŷ=argmax_y P(y)ΠⱼP(xⱼ|y)。这个假设在现实中几乎从不成立(特征间总有相关),但<strong>分类效果常出奇地好</strong>——这是朴素贝叶斯最反直觉也最重要的性质。

🏭 Production Trade-offs

为什么有效(Domingos & Pazzani 1997 的洞察):分类只需 argmax 正确,不需概率准确。即使条件独立假设被违反,只要<strong>同一类别内的相关结构在各类别间相似</strong>,被重复计数的相关项在所有类别上近似<strong>同倍放大</strong>,argmax 不变。这解释了朴素贝叶斯'排序好、校准差'的经典现象——它给出的概率往往过度自信(接近 0 或 1),但类别排序常正确。<strong>工程含义</strong>:① 适合做<strong>粗筛/召回</strong>而非概率输出;② 若需概率需做校准(Platt/isotonic);③ 数值实现上应<strong>在对数域计算</strong>(log P(y)+Σlog P(xⱼ|y)),避免大量小概率相乘下溢为 0;④ 需<strong>平滑</strong>(拉普拉斯)避免某个特征未出现导致整乘积归零。
⚠️ Common Interview Pitfalls
  • ✕
    把朴素贝叶斯的概率输出直接当置信度(严重过度自信)
  • ✕
    在线性域计算乘积(大量小概率下溢)
🎯 Interviewer Follow-ups
  • ?
    为什么假设不成立仍能分类准?
  • ?
    如何缓解它的过度自信?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM2-040: Support Vector Machines & Kernels: SVM 对类别不平衡与噪声标签敏感吗?如何缓解。📋Back to BankNext →M2-042: Naive Bayes: 为什么需要拉普拉斯平滑?给出公式。