Naive Bayes: 朴素贝叶斯与逻辑回归的关系是什么？何时各占优。

Core Concept: NB 生成式（建模联合分布），LR 判别式（直接建模后验）；小样本 NB 占优，大样本 LR 占优。

两者在<strong>二值特征</strong>下都是线性分类器（对数域），差异在于<strong>估计权重的方式</strong>：① <strong>NB（生成式）</strong>——先估计 P(y) 与 P(xⱼ|y)，再由贝叶斯定理导出 P(y|x)，权重 wⱼ=log[P(xⱼ|y=1)/P(xⱼ|y=0)] 由<strong>条件独立假设</strong>下推导；② <strong>LR（判别式）</strong>——直接最大化条件似然 P(y|x) 来拟合权重，不做独立性假设。因此 NB 的权重是'假设驱动'的（可能因假设违背而有偏），LR 的权重是'数据驱动'的（无偏但需更多数据）。<strong>Ng & Jordan (2002) 的经典结论</strong>：NB 的<strong>渐近误差</strong>（样本→∞）高于 LR（因为独立性假设引入偏差），但 NB 的<strong>收敛速度</strong>是 O(log n) 而 LR 是 O(n)——故在<strong>小样本</strong>下 NB 常优于 LR，大样本下 LR 反超。

实践要点：① <strong>选择依据</strong>——数据量小（n < 几百到几千，取决于特征数）→ 试 NB；数据量大 → LR 或更复杂模型；② <strong>特征独立性</strong>——若特征确实近似独立（如文本的 unigram），NB 表现好；若特征强相关（如多个相关传感器），NB 的偏差大；③ <strong>可解释性与概率质量</strong>——NB 的权重有似然比的直观解释，但概率过度自信；LR 的概率经极大似然估计且可校准；④ <strong>工程实践</strong>——NB 的训练是<strong>一次计数</strong>（O(n·p)），比 LR 的迭代优化快得多，适合流式/在线场景的快速基线；⑤ <strong>改进方向</strong>——<strong>TAN（Tree-Augmented Naive Bayes）</strong> 放松独立假设为树结构依赖；<strong>AODE</strong>（Averaged One-Dependence Estimators）对每个特征建模一个依赖；这些都在保留计算效率的同时降低偏差。