L3Easy★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟

逻辑回归(带 L2 正则化的二分类梯度下降)

⚡闪卡盲测➔

广告点击与风控打分基石,对数几率 Sigmoid 映射与对数似然凸优化。

⏱️ 时间复杂度: O(iters * N * D)
💾 空间复杂度: O(D)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class LogisticRegressionL2:
def __init__(self, lr: float = 0.1, lambda_reg: float = 0.01, iters: int = 300):
self.lr = lr
self.lambda_reg = lambda_reg
self.iters = iters
self.w = None
self.b = 0.0
def fit(self, X: np.ndarray, y: np.ndarray):
N, D = X.shape
self.w = np.zeros(D)
self.b = 0.0
for _ in range(self.iters):
# 1. 线性预测与数值安全 Sigmoid
z =
z_clipped = np.clip(z, -88.0, 88.0)
p = 1.0 / (1.0 + np.exp(-z_clipped))
# 2. 计算误差项
error = p - y # (N,)
# 3. 梯度计算 (带 L2 权重衰减,偏置 b 通常不正则化)
grad_w = (1.0 / N) * (X.T @ error) + self.lambda_reg * self.w
grad_b = (1.0 / N) * np.sum(error)
# 4. 步进
self.w -= self.lr * grad_w
self.b -= self.lr * grad_b
def predict_proba(self, X: np.ndarray) -> np.ndarray:
z = np.clip(X @ self.w + self.b, -88.0, 88.0)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么逻辑回归使用均方误差(MSE)作为损失函数会导致优化极度困难?
下一题: PCA 主成分分析(协方差特征值分解与 SVD) →
💡

实战一句话记忆口诀

几率对数转概率,误差驱动梯度反,偏置不加正则项,全局凸性稳收敛

📐 核心数学公式与机理推导

P(y=1∣x)=σ(w⊤x+b),L=−1N∑i=1N[yiln⁡pi+(1−yi)ln⁡(1−pi)]+λ2∥w∥22P(y=1 \mid x) = \sigma(w^\top x + b), \quad \mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \left[y_i \ln p_i + (1 - y_i) \ln (1 - p_i)\right] + \frac{\lambda}{2} \|w\|_2^2
### 对数几率与负对数似然梯度
逻辑回归将线性回归输出映射到几率对数空间:ln⁡p1−p=w⊤x+b\ln \frac{p}{1-p} = w^\top x + b。
二分类似然函数的负对数即为交叉熵损失。
利用 Sigmoid 导数性质 σ′(z)=σ(z)(1−σ(z))\sigma'(z) = \sigma(z)(1 - \sigma(z)),损失函数对权重向量 ww 的梯度具有极其简洁的形态:
∇wL=1NX⊤(σ(Xw+b)−y)+λw\nabla_w \mathcal{L} = \frac{1}{N} X^\top (\sigma(Xw + b) - y) + \lambda w
预测误差 (y^−y)(\hat{y} - y) 直接线性驱动梯度更新,处处凸优化(Convex),保证收敛到全局唯一极值点。

🔄 张量维度与形状流转说明

X (N, D) -> z = Xw+b -> sigmoid -> p (N,) -> error = p-y -> grad_w = (1/N)X^T error + lambda*w -> 更新 w, b

🛡️ 数值稳定性自检与边界要点

  • Sigmoid 前必须对 logits 进行数值截断 np.clip(z, -88.0, 88.0)
  • 偏置项 b 绝对不能施加 L2 正则化惩罚,否则会限制模型对整体正负样本先验比例的拟合

💻 完整参考代码实现

import numpy as np

class LogisticRegressionL2:
    def __init__(self, lr: float = 0.1, lambda_reg: float = 0.01, iters: int = 300):
        self.lr = lr
        self.lambda_reg = lambda_reg
        self.iters = iters
        self.w = None
        self.b = 0.0
        
    def fit(self, X: np.ndarray, y: np.ndarray):
        N, D = X.shape
        self.w = np.zeros(D)
        self.b = 0.0
        
        for _ in range(self.iters):
            # 1. 线性预测与数值安全 Sigmoid
            z = X @ self.w + self.b
            z_clipped = np.clip(z, -88.0, 88.0)
            p = 1.0 / (1.0 + np.exp(-z_clipped))
            
            # 2. 计算误差项
            error = p - y  # (N,)
            
            # 3. 梯度计算 (带 L2 权重衰减,偏置 b 通常不正则化)
            grad_w = (1.0 / N) * (X.T @ error) + self.lambda_reg * self.w
            grad_b = (1.0 / N) * np.sum(error)
            
            # 4. 步进
            self.w -= self.lr * grad_w
            self.b -= self.lr * grad_b
            
    def predict_proba(self, X: np.ndarray) -> np.ndarray:
        z = np.clip(X @ self.w + self.b, -88.0, 88.0)
        return 1.0 / (1.0 + np.exp(-z))

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
X = np.array([[1.0], [2.0], [-1.0], [-2.0]])
y = np.array([1.0, 1.0, 0.0, 0.0])
clf = LogisticRegressionL2(lr=0.5, iters=500)
clf.fit(X, y)
assert clf.predict_proba(np.array([[3.0]])) > 0.8
assert clf.predict_proba(np.array([[-3.0]])) < 0.2
print("✓ 逻辑回归二分类自测通过")

🎯 核心工程追问与标准应答

Q1:为什么逻辑回归使用均方误差(MSE)作为损失函数会导致优化极度困难?
如果将 Sigmoid 代入 MSE:J(w)=12(σ(w⊤x)−y)2J(w) = \frac{1}{2}(\sigma(w^\top x) - y)^2,其导数包含 σ′(z)=σ(z)(1−σ(z))\sigma'(z) = \sigma(z)(1-\sigma(z))。当模型预测严重错误时(如真实为 1 但预测输出 0),Sigmoid 导数趋近于 0(梯度饱和),产生严重的非凸局部停滞点;而交叉熵损失求导后分母上的 Sigmoid 导数恰好与分子抵消,梯度与误差成正比,处处凸优化。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 线性回归(正规方程闭式解与梯度下降)返回 Part L 与全部 105 题下一题: PCA 主成分分析(协方差特征值分解与 SVD) →