手写逻辑回归梯度下降与 L2

手写带 L2 正则化的逻辑回归与随机梯度下降训练器 (Live Coding: Logistic Regression with L2 Regularization & Mini-Batch SGD in Pure Numpy) 是考察 MLE 工程师对基础凸优化、Sigmoid 激活函数、交叉熵损失梯度推导与矩阵乘法工程实现的终极基石题；模型形式：$P(y=1|x) = \sigma(X w + b) = \frac{1}{1 + e^{-(X w + b)}}$；带 L2 正则化的对数似然目标损失函数为：$\mathcal{L}(w) = -\frac{1}{N} \sum_{i=1}^N [y_i \ln(\hat{y}_i) + (1-y_i) \ln(1-\hat{y}_i)] + \frac{\lambda}{2N} \|w\|^2$；其解析梯度为：$\nabla_w \mathcal{L} = \frac{1}{N} X^T (\hat{y} - y) + \frac{\lambda}{N} w$；每轮 Mini-Batch 依照梯度更新权重 $w \leftarrow w - \eta \nabla_w \mathcal{L}$ 直至收敛。

经典二分类问题基线、广告 CTR 线性打分骨架、工业面试 15 分钟白板手写机器学习算法。

考察候选人能否不用 `scikit-learn` 或 `PyTorch`，仅用 Pure Numpy 向量化矩阵操作完整闭环实现前向预测、损失计算、梯度反向传播与参数更新全流程。

现场手写包含 `fit(X, y)`、`predict_proba(X)` 与 L2 正则化的完整的 `LogisticRegression` Python Class？

从极大似然估计 (MLE) 完整推导逻辑回归对数损失函数及其权重梯度 $\nabla_w \mathcal{L} = \frac{1}{N} X^T (\hat{y} - y)$ 的全过程？

Sigmoid 导数公式 $\sigma'(z) = \sigma(z)(1 - \sigma(z))$ 的证明及其在反向传播链式法则中的应用？

牛顿法 (Newton-Raphson / IRLS: 迭代加权最小二乘法) 相比一阶梯度下降在收敛速度（二阶超线性收敛）与计算复杂度 ($O(d^3)$ 求逆) 上的权衡？

为什么逻辑回归必须配合特征标准化/归一化 (Feature Scaling)？如果不做标准化，椭圆损失等高线如何严重拖慢梯度下降收敛？