线性回归 OLS

线性回归 (OLS, 普通最小二乘) 假设 $y = Xw + \varepsilon$, 目标是让预测超平面离样本最近——最小化残差平方和 $L(w) = \Vert y - Xw\Vert_2^2$。展开并对 $w$ 求导: $\frac{\partial L}{\partial w} = 2X^T(Xw - y)$, 令梯度为 0 得正规方程 $X^TXw = X^Ty$, 当 $X$ 满列秩 ($X^TX$ 可逆) 时闭式解 $w = (X^TX)^{-1}X^Ty$, 复杂度约 $O(nd^2 + d^3)$ (构造 $X^TX$ + 求逆), 高维下改用梯度下降 (每轮 $O(nd)$)。5 大假设 (Gauss-Markov): ① 线性性 (真实关系对参数线性) ② 零条件均值 $E[\varepsilon \mid X] = 0$ (外生性) ③ 同方差 $Var(\varepsilon) = \sigma^2 I$ ④ 误差相互独立 ⑤ 无完全多重共线性 ($rank(X) = d$); 再做小样本推断还需误差正态分布。

回归任务的基线模型; 面试高频: 白板推导正规方程、讨论 $X^TX$ 不可逆怎么办 (伪逆 / 岭回归加 $\lambda I$ / 剔除共线特征)、OLS 与梯度下降复杂度对比。

$L(w)$ 是凸二次函数 (Hessian $= 2X^TX \succeq 0$), 正规方程一步求出全局最优, 无需调学习率; 相比 $k$NN 等非参数方法, OLS 给出可解释系数 ($w_j$ 即控制其它变量后 $x_j$ 的边际效应)。但 5 大假设被违反时 (共线 → $X^TX$ 病态、异方差 → 标准误失真), 需转向岭回归或加权最小二乘。

检验攻克程度：针对「线性回归 OLS」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。