L2Easy★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟

线性回归(正规方程闭式解与梯度下降)

⚡闪卡盲测➔

机器学习入门第一课,最小二乘正规方程解析解 (X^T X)^-1 X^T y 与全批量梯度下降。

⏱️ 时间复杂度: 闭式解 O(N * D^2 + D^3);梯度下降 O(iters * N * D)
💾 空间复杂度: O(D^2)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def linear_regression_closed_form(X: np.ndarray, y: np.ndarray) -> np.ndarray:
"""正规方程解析解: w = (X^T X + eps*I)^-1 X^T y"""
# 添加偏置列 (Bias)
N = len(X)
X_b = np.hstack([np.ones((N, 1)), X])
# 加少量 L2 岭回归扰动保证矩阵严格可逆
XtX =
reg = 1e-6 * np.eye(XtX.shape[0])
return np.linalg.solve(XtX + reg, X_b.T @ y)
def linear_regression_gradient_descent(X: np.ndarray, y: np.ndarray, lr: float = 0.01, iters: int = 200) -> np.ndarray:
N, D = X.shape
X_b = np.hstack([np.ones((N, 1)), X])
w = np.zeros(D + 1)
for _ in range(iters):
grad =
w -= lr * grad
return w
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 当特征数 D 大于样本数 N 时,为什么正规方程无法直接求解?如何解决?
下一题: 逻辑回归(带 L2 正则化的二分类梯度下降) →
💡

实战一句话记忆口诀

正规方程求伪逆,特征极大走梯度,偏置拼列防漏偏

📐 核心数学公式与机理推导

w∗=(X⊤X)−1X⊤y,∇wL=1NX⊤(Xw−y)w^* = (X^\top X)^{-1} X^\top y, \quad \nabla_w \mathcal{L} = \frac{1}{N} X^\top (Xw - y)
### 最小二乘投影与解析极值
给定特征矩阵 X∈RN×DX \in \mathbb{R}^{N \times D} 与连续标签 y∈RNy \in \mathbb{R}^N:
目标函数为均方误差:J(w)=12N∥Xw−y∥22=12N(Xw−y)⊤(Xw−y)J(w) = \frac{1}{2N} \|Xw - y\|_2^2 = \frac{1}{2N} (Xw - y)^\top (Xw - y)。
对权重向量 ww 求偏导并令梯度为零:
∇wJ(w)=1NX⊤(Xw−y)=0  ⟹  X⊤Xw=X⊤y\nabla_w J(w) = \frac{1}{N} X^\top (Xw - y) = 0 \implies X^\top X w = X^\top y
当 X⊤XX^\top X 满秩可逆时,得到全局唯一最优解析解:w∗=(X⊤X)−1X⊤yw^* = (X^\top X)^{-1} X^\top y。
当特征维度 DD 极大(如 10510^5)求逆复杂度 O(D3)O(D^3) 不可行时,切换为迭代梯度下降:
w←w−η1NX⊤(Xw−y)w \leftarrow w - \eta \frac{1}{N} X^\top (Xw - y)

🔄 张量维度与形状流转说明

X (N, D) -> 拼偏置得 X_b: (N, D+1) -> (X^T X)^-1 X^T y -> w: (D+1,)

🛡️ 数值稳定性自检与边界要点

  • 使用 np.linalg.solve(A, b) 代替 np.linalg.inv(A) @ b,速度更快且数值精度更高
  • 在计算 X^T X 前务必对特征做 Standard Scaling 标准化,否则不同量纲会导致椭圆损失曲面梯度震荡

💻 完整参考代码实现

import numpy as np

def linear_regression_closed_form(X: np.ndarray, y: np.ndarray) -> np.ndarray:
    """正规方程解析解: w = (X^T X + eps*I)^-1 X^T y"""
    # 添加偏置列 (Bias)
    N = len(X)
    X_b = np.hstack([np.ones((N, 1)), X])
    # 加少量 L2 岭回归扰动保证矩阵严格可逆
    XtX = X_b.T @ X_b
    reg = 1e-6 * np.eye(XtX.shape[0])
    return np.linalg.solve(XtX + reg, X_b.T @ y)

def linear_regression_gradient_descent(X: np.ndarray, y: np.ndarray, lr: float = 0.01, iters: int = 200) -> np.ndarray:
    N, D = X.shape
    X_b = np.hstack([np.ones((N, 1)), X])
    w = np.zeros(D + 1)
    for _ in range(iters):
        grad = (1.0 / N) * X_b.T @ (X_b @ w - y)
        w -= lr * grad
    return w

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
X = np.array([[1.0], [2.0], [3.0], [4.0]])
y = 2.0 * X[:, 0] + 1.0 # 理论: w0=1, w1=2
w_cf = linear_regression_closed_form(X, y)
assert np.isclose(w_cf[0], 1.0, atol=1e-3) and np.isclose(w_cf[1], 2.0, atol=1e-3)
print("✓ 线性回归闭式解自测通过")

🎯 核心工程追问与标准应答

Q1:当特征数 D 大于样本数 N 时,为什么正规方程无法直接求解?如何解决?
当 D>ND > N 时,X⊤XX^\top X 的秩最多为 NN,是一个奇异矩阵(不可逆)。解决方法:引入 L2 正则化(Ridge 岭回归),目标矩阵变为 X⊤X+λIX^\top X + \lambda I。由于加上了正对角阵,矩阵严格正定且可逆,同时抑制模型过拟合。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: K-Means 聚类算法(距离矩阵与质心迭代更新)返回 Part L 与全部 105 题下一题: 逻辑回归(带 L2 正则化的二分类梯度下降) →