投影与最小二乘

线性最小二乘 $\min_w \Vert Xw - y \Vert^2$ 的几何本质是正交投影: 当 $y \notin C(X)$ 时无精确解, 最优解要求 $Xw$ 等于 $y$ 在列空间 $C(X)$ 上的正交投影 $\hat{y} = Py$, 残差 $r = y - Xw$ 与 $C(X)$ 正交, 即 $X^T(y - Xw) = 0$, 展开得正规方程 $X^TXw = X^Ty$; $X$ 列满秩时 $w = (X^TX)^{-1}X^Ty$。投影矩阵 $P = X(X^TX)^{-1}X^T$ 满足幂等 $P^2 = P$ 与对称 $P^T = P$, $I - P$ 是到 $N(X^T)$ 的投影。当 $X$ 秩亏或 $X^TX$ 病态时, 改用伪逆 $X^+ = V\Sigma^+U^T$ (由 SVD 定义, $\Sigma^+$ 对非零奇异值取倒数), 解 $w = X^+y$ 给出最小范数解。

线性回归的闭式解; 数据点拟合 (直线/多项式); 推荐系统、信号估计、超定方程组求解; 特征共线或高维 (列相关) 时正规方程失效的替代; 也是 Ridge 正则化 ($X^TX + \lambda I$) 的出发点。

方程数多于未知数时 $y$ 常不在 $C(X)$ 中, 方程组无解; 投影定理保证"残差与列空间正交"的 $\hat{y}$ 是唯一的最优近似, 且正交投影在欧氏范数下误差最小; 秩亏时 $(X^TX)^{-1}$ 不存在, 伪逆自动退化为最小范数解; 直接解正规方程还会把条件数平方 ($\kappa(X^TX) = \kappa(X)^2$), 伪逆/QR/SVD 路径数值上更稳。

推导: 从残差正交条件 $X^T(y - Xw) = 0$ 手推正规方程 $w = (X^TX)^{-1}X^Ty$, 画出投影几何示意图?

证明 $P = X(X^TX)^{-1}X^T$ 是正交投影矩阵 ($P^2 = P$, $P^T = P$), 并说明 $I - P$ 投影到哪个子空间?

手算: 给定 3 个数据点拟合直线 $y = w_0 + w_1x$, 构造 $X$ 与 $y$, 用正规方程解出 $w$?

$X^TX$ 何时不可逆? 秩亏时伪逆 $X^+ = V\Sigma^+U^T$ 如何给出最小范数解, 与 $(X^TX)^{-1}X^T$ 有何区别?

为什么正规方程数值不稳 ($\kappa(X^TX) = \kappa(X)^2$)? 共线特征时如何缓解 (伪逆/正则化/QR)?