投影与最小二乘

线性最小二乘 $\min_w \Vert Xw - y \Vert^2$ 的几何本质是正交投影: 当 $y \notin C(X)$ 时无精确解, 最优解要求 $Xw$ 等于 $y$ 在列空间 $C(X)$ 上的正交投影 $\hat{y} = Py$, 残差 $r = y - Xw$ 与 $C(X)$ 正交, 即 $X^T(y - Xw) = 0$, 展开得正规方程 $X^TXw = X^Ty$; $X$ 列满秩时 $w = (X^TX)^{-1}X^Ty$。投影矩阵 $P = X(X^TX)^{-1}X^T$ 满足幂等 $P^2 = P$ 与对称 $P^T = P$, $I - P$ 是到 $N(X^T)$ 的投影。当 $X$ 秩亏或 $X^TX$ 病态时, 改用伪逆 $X^+ = V\Sigma^+U^T$ (由 SVD 定义, $\Sigma^+$ 对非零奇异值取倒数), 解 $w = X^+y$ 给出最小范数解。

线性回归的闭式解; 数据点拟合 (直线/多项式); 推荐系统、信号估计、超定方程组求解; 特征共线或高维 (列相关) 时正规方程失效的替代; 也是 Ridge 正则化 ($X^TX + \lambda I$) 的出发点。

方程数多于未知数时 $y$ 常不在 $C(X)$ 中, 方程组无解; 投影定理保证"残差与列空间正交"的 $\hat{y}$ 是唯一的最优近似, 且正交投影在欧氏范数下误差最小; 秩亏时 $(X^TX)^{-1}$ 不存在, 伪逆自动退化为最小范数解; 直接解正规方程还会把条件数平方 ($\kappa(X^TX) = \kappa(X)^2$), 伪逆/QR/SVD 路径数值上更稳。

检验攻克程度：针对「投影与最小二乘」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。