L3Easy★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟
逻辑回归(带 L2 正则化的二分类梯度下降)
广告点击与风控打分基石,对数几率 Sigmoid 映射与对数似然凸优化。
⏱️ 时间复杂度:
O(iters * N * D)💾 空间复杂度:
O(D)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class LogisticRegressionL2:
def __init__(self, lr: float = 0.1, lambda_reg: float = 0.01, iters: int = 300):
self.lr = lr
self.lambda_reg = lambda_reg
self.iters = iters
self.w = None
self.b = 0.0
def fit(self, X: np.ndarray, y: np.ndarray):
N, D = X.shape
self.w = np.zeros(D)
self.b = 0.0
for _ in range(self.iters):
# 1. 线性预测与数值安全 Sigmoid
z =
z_clipped = np.clip(z, -88.0, 88.0)
p = 1.0 / (1.0 + np.exp(-z_clipped))
# 2. 计算误差项
error = p - y # (N,)
# 3. 梯度计算 (带 L2 权重衰减,偏置 b 通常不正则化)
grad_w = (1.0 / N) * (X.T @ error) + self.lambda_reg * self.w
grad_b = (1.0 / N) * np.sum(error)
# 4. 步进
self.w -= self.lr * grad_w
self.b -= self.lr * grad_b
def predict_proba(self, X: np.ndarray) -> np.ndarray:
z = np.clip(X @ self.w + self.b, -88.0, 88.0)
return
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
几率对数转概率,误差驱动梯度反,偏置不加正则项,全局凸性稳收敛
📐 核心数学公式与机理推导
### 对数几率与负对数似然梯度
逻辑回归将线性回归输出映射到几率对数空间:。
二分类似然函数的负对数即为交叉熵损失。
利用 Sigmoid 导数性质 ,损失函数对权重向量 的梯度具有极其简洁的形态:
预测误差 直接线性驱动梯度更新,处处凸优化(Convex),保证收敛到全局唯一极值点。
逻辑回归将线性回归输出映射到几率对数空间:。
二分类似然函数的负对数即为交叉熵损失。
利用 Sigmoid 导数性质 ,损失函数对权重向量 的梯度具有极其简洁的形态:
预测误差 直接线性驱动梯度更新,处处凸优化(Convex),保证收敛到全局唯一极值点。
🔄 张量维度与形状流转说明
X (N, D) -> z = Xw+b -> sigmoid -> p (N,) -> error = p-y -> grad_w = (1/N)X^T error + lambda*w -> 更新 w, b
🛡️ 数值稳定性自检与边界要点
- Sigmoid 前必须对 logits 进行数值截断 np.clip(z, -88.0, 88.0)
- 偏置项 b 绝对不能施加 L2 正则化惩罚,否则会限制模型对整体正负样本先验比例的拟合
💻 完整参考代码实现
import numpy as np
class LogisticRegressionL2:
def __init__(self, lr: float = 0.1, lambda_reg: float = 0.01, iters: int = 300):
self.lr = lr
self.lambda_reg = lambda_reg
self.iters = iters
self.w = None
self.b = 0.0
def fit(self, X: np.ndarray, y: np.ndarray):
N, D = X.shape
self.w = np.zeros(D)
self.b = 0.0
for _ in range(self.iters):
# 1. 线性预测与数值安全 Sigmoid
z = X @ self.w + self.b
z_clipped = np.clip(z, -88.0, 88.0)
p = 1.0 / (1.0 + np.exp(-z_clipped))
# 2. 计算误差项
error = p - y # (N,)
# 3. 梯度计算 (带 L2 权重衰减,偏置 b 通常不正则化)
grad_w = (1.0 / N) * (X.T @ error) + self.lambda_reg * self.w
grad_b = (1.0 / N) * np.sum(error)
# 4. 步进
self.w -= self.lr * grad_w
self.b -= self.lr * grad_b
def predict_proba(self, X: np.ndarray) -> np.ndarray:
z = np.clip(X @ self.w + self.b, -88.0, 88.0)
return 1.0 / (1.0 + np.exp(-z))
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
X = np.array([[1.0], [2.0], [-1.0], [-2.0]])
y = np.array([1.0, 1.0, 0.0, 0.0])
clf = LogisticRegressionL2(lr=0.5, iters=500)
clf.fit(X, y)
assert clf.predict_proba(np.array([[3.0]])) > 0.8
assert clf.predict_proba(np.array([[-3.0]])) < 0.2
print("✓ 逻辑回归二分类自测通过")🎯 核心工程追问与标准应答
Q1:为什么逻辑回归使用均方误差(MSE)作为损失函数会导致优化极度困难?
如果将 Sigmoid 代入 MSE:,其导数包含 。当模型预测严重错误时(如真实为 1 但预测输出 0),Sigmoid 导数趋近于 0(梯度饱和),产生严重的非凸局部停滞点;而交叉熵损失求导后分母上的 Sigmoid 导数恰好与分子抵消,梯度与误差成正比,处处凸优化。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!