逻辑回归 Log-Odds

逻辑回归把对数几率 (Log-Odds) 建模为输入的线性函数 $\ln\frac{p}{1-p} = w^Tx + b$, 反解得 Sigmoid $p = \frac{1}{1 + e^{-(w^Tx + b)}} \in [0,1]$。参数由极大似然估计 (MLE) 求解: 单样本对数似然 $y\ln p + (1-y)\ln(1-p)$, 取负即交叉熵 $L = -\sum_i [y_i \ln p_i + (1-y_i)\ln(1-p_i)]$。对 $z = w^Tx + b$ 求导: Sigmoid 导数 $p' = p(1-p)$, 代入链式法则得 $\frac{\partial L}{\partial z} = p - y$, 从而 $\frac{\partial L}{\partial w} = (p - y)x$; 目标无闭式解, 用梯度下降/牛顿法迭代 (凸优化, 全局最优)。

二分类基线 (CTR、风控、医疗诊断); 面试高频白板题: 从 Log-Odds 推出 Sigmoid、推导 $\frac{\partial L}{\partial z} = p - y$、对比 LR 与 SVM/朴素贝叶斯。

线性回归直接拟合概率会输出 $<0$ 或 $>1$ 的非法值且对异常值敏感; LR 用 Sigmoid 保证概率合法, 且交叉熵梯度 $p-y$ 在 $z \to \pm\infty$ 时只线性衰减 (永不消失), 而平方损失 $\frac{1}{2}(p-y)^2$ 在 $p \to y$ 或 $z$ 很大时梯度 $\to 0$ (饱和), 收敛极慢; 加 $\frac{\lambda}{2}\Vert w\Vert^2$ 即带正则 LR, 缓解高维共线性。

检验攻克程度：针对「逻辑回归 Log-Odds」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。