线性回归 OLS

线性回归 (OLS, 普通最小二乘) 假设 $y = Xw + \varepsilon$, 目标是让预测超平面离样本最近——最小化残差平方和 $L(w) = \Vert y - Xw\Vert_2^2$。展开并对 $w$ 求导: $\frac{\partial L}{\partial w} = 2X^T(Xw - y)$, 令梯度为 0 得正规方程 $X^TXw = X^Ty$, 当 $X$ 满列秩 ($X^TX$ 可逆) 时闭式解 $w = (X^TX)^{-1}X^Ty$, 复杂度约 $O(nd^2 + d^3)$ (构造 $X^TX$ + 求逆), 高维下改用梯度下降 (每轮 $O(nd)$)。5 大假设 (Gauss-Markov): ① 线性性 (真实关系对参数线性) ② 零条件均值 $E[\varepsilon \mid X] = 0$ (外生性) ③ 同方差 $Var(\varepsilon) = \sigma^2 I$ ④ 误差相互独立 ⑤ 无完全多重共线性 ($rank(X) = d$); 再做小样本推断还需误差正态分布。

回归任务的基线模型; 面试高频: 白板推导正规方程、讨论 $X^TX$ 不可逆怎么办 (伪逆 / 岭回归加 $\lambda I$ / 剔除共线特征)、OLS 与梯度下降复杂度对比。

$L(w)$ 是凸二次函数 (Hessian $= 2X^TX \succeq 0$), 正规方程一步求出全局最优, 无需调学习率; 相比 $k$NN 等非参数方法, OLS 给出可解释系数 ($w_j$ 即控制其它变量后 $x_j$ 的边际效应)。但 5 大假设被违反时 (共线 → $X^TX$ 病态、异方差 → 标准误失真), 需转向岭回归或加权最小二乘。

白板推导正规方程: 展开 $L(w) = \Vert y - Xw\Vert^2$ 求梯度、令为 0, 写出 $w = (X^TX)^{-1}X^Ty$; $X^TX$ 可逆需要什么条件?

线性回归 5 大假设分别是什么? 每一条被违反时估计量的无偏性/有效性/一致性会怎样?

$X^TX$ 奇异或病态怎么办? 比较伪逆、岭回归 $w = (X^TX + \lambda I)^{-1}X^Ty$ 与剔除共线特征三种方案。

陈述 Gauss-Markov 定理: 5 大假设下 OLS 是 BLUE (最优线性无偏估计), 为什么正态性假设不在其中?

推导正规方程的时间/空间复杂度 (构造 $X^TX$ 为 $O(nd^2)$, 求逆为 $O(d^3)$), 说明高维稀疏场景为什么选梯度下降。