L2Easy★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟
线性回归(正规方程闭式解与梯度下降)
机器学习入门第一课,最小二乘正规方程解析解 (X^T X)^-1 X^T y 与全批量梯度下降。
⏱️ 时间复杂度:
闭式解 O(N * D^2 + D^3);梯度下降 O(iters * N * D)💾 空间复杂度:
O(D^2)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def linear_regression_closed_form(X: np.ndarray, y: np.ndarray) -> np.ndarray:
"""正规方程解析解: w = (X^T X + eps*I)^-1 X^T y"""
# 添加偏置列 (Bias)
N = len(X)
X_b = np.hstack([np.ones((N, 1)), X])
# 加少量 L2 岭回归扰动保证矩阵严格可逆
XtX =
reg = 1e-6 * np.eye(XtX.shape[0])
return np.linalg.solve(XtX + reg, X_b.T @ y)
def linear_regression_gradient_descent(X: np.ndarray, y: np.ndarray, lr: float = 0.01, iters: int = 200) -> np.ndarray:
N, D = X.shape
X_b = np.hstack([np.ones((N, 1)), X])
w = np.zeros(D + 1)
for _ in range(iters):
grad =
w -= lr * grad
return w
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
正规方程求伪逆,特征极大走梯度,偏置拼列防漏偏
📐 核心数学公式与机理推导
### 最小二乘投影与解析极值
给定特征矩阵 与连续标签 :
目标函数为均方误差:。
对权重向量 求偏导并令梯度为零:
当 满秩可逆时,得到全局唯一最优解析解:。
当特征维度 极大(如 )求逆复杂度 不可行时,切换为迭代梯度下降:
给定特征矩阵 与连续标签 :
目标函数为均方误差:。
对权重向量 求偏导并令梯度为零:
当 满秩可逆时,得到全局唯一最优解析解:。
当特征维度 极大(如 )求逆复杂度 不可行时,切换为迭代梯度下降:
🔄 张量维度与形状流转说明
X (N, D) -> 拼偏置得 X_b: (N, D+1) -> (X^T X)^-1 X^T y -> w: (D+1,)
🛡️ 数值稳定性自检与边界要点
- 使用 np.linalg.solve(A, b) 代替 np.linalg.inv(A) @ b,速度更快且数值精度更高
- 在计算 X^T X 前务必对特征做 Standard Scaling 标准化,否则不同量纲会导致椭圆损失曲面梯度震荡
💻 完整参考代码实现
import numpy as np
def linear_regression_closed_form(X: np.ndarray, y: np.ndarray) -> np.ndarray:
"""正规方程解析解: w = (X^T X + eps*I)^-1 X^T y"""
# 添加偏置列 (Bias)
N = len(X)
X_b = np.hstack([np.ones((N, 1)), X])
# 加少量 L2 岭回归扰动保证矩阵严格可逆
XtX = X_b.T @ X_b
reg = 1e-6 * np.eye(XtX.shape[0])
return np.linalg.solve(XtX + reg, X_b.T @ y)
def linear_regression_gradient_descent(X: np.ndarray, y: np.ndarray, lr: float = 0.01, iters: int = 200) -> np.ndarray:
N, D = X.shape
X_b = np.hstack([np.ones((N, 1)), X])
w = np.zeros(D + 1)
for _ in range(iters):
grad = (1.0 / N) * X_b.T @ (X_b @ w - y)
w -= lr * grad
return w
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
X = np.array([[1.0], [2.0], [3.0], [4.0]])
y = 2.0 * X[:, 0] + 1.0 # 理论: w0=1, w1=2
w_cf = linear_regression_closed_form(X, y)
assert np.isclose(w_cf[0], 1.0, atol=1e-3) and np.isclose(w_cf[1], 2.0, atol=1e-3)
print("✓ 线性回归闭式解自测通过")🎯 核心工程追问与标准应答
Q1:当特征数 D 大于样本数 N 时,为什么正规方程无法直接求解?如何解决?
当 时, 的秩最多为 ,是一个奇异矩阵(不可逆)。解决方法:引入 L2 正则化(Ridge 岭回归),目标矩阵变为 。由于加上了正对角阵,矩阵严格正定且可逆,同时抑制模型过拟合。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!