逻辑回归 Log-Odds

逻辑回归把对数几率 (Log-Odds) 建模为输入的线性函数 $\ln\frac{p}{1-p} = w^Tx + b$, 反解得 Sigmoid $p = \frac{1}{1 + e^{-(w^Tx + b)}} \in [0,1]$。参数由极大似然估计 (MLE) 求解: 单样本对数似然 $y\ln p + (1-y)\ln(1-p)$, 取负即交叉熵 $L = -\sum_i [y_i \ln p_i + (1-y_i)\ln(1-p_i)]$。对 $z = w^Tx + b$ 求导: Sigmoid 导数 $p' = p(1-p)$, 代入链式法则得 $\frac{\partial L}{\partial z} = p - y$, 从而 $\frac{\partial L}{\partial w} = (p - y)x$; 目标无闭式解, 用梯度下降/牛顿法迭代 (凸优化, 全局最优)。

二分类基线 (CTR、风控、医疗诊断); 面试高频白板题: 从 Log-Odds 推出 Sigmoid、推导 $\frac{\partial L}{\partial z} = p - y$、对比 LR 与 SVM/朴素贝叶斯。

线性回归直接拟合概率会输出 $<0$ 或 $>1$ 的非法值且对异常值敏感; LR 用 Sigmoid 保证概率合法, 且交叉熵梯度 $p-y$ 在 $z \to \pm\infty$ 时只线性衰减 (永不消失), 而平方损失 $\frac{1}{2}(p-y)^2$ 在 $p \to y$ 或 $z$ 很大时梯度 $\to 0$ (饱和), 收敛极慢; 加 $\frac{\lambda}{2}\Vert w\Vert^2$ 即带正则 LR, 缓解高维共线性。

白板推导: 从 $\ln\frac{p}{1-p} = w^Tx + b$ 反推 $p = \frac{1}{1+e^{-w^Tx}}$, 再用 $p' = p(1-p)$ 与链式法则推导 $\frac{\partial L}{\partial z} = p - y$。

为什么 LR 用交叉熵而不是平方损失? 从梯度角度说明平方损失在 $p \to y$ 时的饱和问题。

写出 MLE 与交叉熵的等价性: 负对数似然 $L = -\sum_i [y_i \ln p_i + (1-y_i)\ln(1-p_i)]$ 的推导。

LR 与 SVM 对比: hinge loss vs 对数损失的差异、是否输出概率、是否依赖支持向量、对异常值的鲁棒性。

逻辑回归为什么不能直接做多分类? 对比 OvR/Softmax 两种扩展, 以及类别不平衡对决策阈值的影响。