Logistic Regression & GLM: 如何处理逻辑回归中的完全分离（separation）问题？

Core Concept: 若某特征能完美分开两类，系数会趋向无穷、不收敛；需加正则或贝叶斯先验。

分离的机制：若存在 w 使所有样本被正确分类（yᵢ(wᵀxᵢ)>0），则把 w 放大 t 倍（t→∞）会使所有 |wᵀxᵢ|→∞，sigmoid 输出趋近 0 或 1，似然单调趋向 1 但<strong>永不达到</strong>——故 MLE 不存在（参数在无穷远处），表现为牛顿法迭代中系数每轮翻倍、海森接近奇异、标准误爆炸。分离有两种：<strong>完全分离</strong>（存在超平面完美分开）与<strong>准完全分离</strong>（仅部分子集可分），后者更隐蔽但同样导致部分系数发散。

四种处理方案：① <strong>L2 正则</strong>——加 λ‖w‖² 后目标变为严格凸且有唯一有限解（因为惩罚项在无穷处趋于无穷），这是最简单常用的做法（等价于高斯先验的 MAP）；② <strong>Firth 惩罚似然</strong>（Jeffreys 先验 ∝|I(w)|^{1/2}）——专门为消除一阶偏差设计，能在分离时给出有限估计，且在小样本下比 MLE 偏差更小，是流行病学中的标准做法；③ <strong>限制迭代次数/系数上界</strong>——工程上最简单但不严谨，只掩盖症状；④ <strong>数据层面</strong>——检查是否因特征泄漏（如某个特征直接编码了标签）导致分离，若是则需修正数据。<strong>诊断手段</strong>：监控迭代中系数的增长（若持续指数增长则分离）、检查海森条件数、用正则化路径（λ 从大到小）观察系数是否发散。