SVD 与特征值分解

对任意 $A \in \mathbb{R}^{m \times n}$, 奇异值分解 $A = U\Sigma V^T$, 其中 $U \in \mathbb{R}^{m \times m}$、$V \in \mathbb{R}^{n \times n}$ 均为正交矩阵, $\Sigma$ 是对角矩阵, 对角线为奇异值 $\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_{\min(m,n)} \ge 0$ (可含 0)。几何意义: 映射可分解为"旋转 + 缩放 + 旋转"——$V^T$ 先把输入旋转到标准坐标轴方向, $\Sigma$ 沿各轴按 $\sigma_i$ 缩放, $U$ 再旋转到输出空间;因此单位球经 $A$ 变成超椭圆, 半轴长就是奇异值 $\sigma_i$, 长轴 $u_1$ 对应拉伸最大的方向。奇异值满足 $\sigma_i^2 = \lambda_i(A^TA)$, $A^TA$ 的特征向量构成 $V$, $AA^T$ 的特征向量构成 $U$。EVD: 对称矩阵 $A = Q\Lambda Q^T$ ($Q$ 正交), 特征值全为实数, 奇异值 $= |\lambda_i|$。条件数 $\kappa = \sigma_1 / \sigma_n$ 度量数值稳定性: $\kappa$ 越大矩阵越病态, 解的相对误差可被放大 $\kappa$ 倍。

判断矩阵是否病态 (方程求解、梯度下降收敛速度); PCA 与降维的数值实现; 低秩近似/矩阵压缩; 伪逆 $A^+ = V\Sigma^+U^T$; 图像去噪、白化 (whitening)、推荐系统矩阵分解。

EVD 只对可对角化的方阵有意义, 且非对称矩阵的特征值可能为复数、数值上不稳定; SVD 对任意矩阵 (长方形、秩亏) 都存在且奇异值唯一, 是数值线性代数中最稳健的分解。条件数 $\kappa = \sigma_1/\sigma_n$ 直接回答"输入误差被放大多少倍", 是判断方程组可靠性与优化收敛快慢的标尺 (梯度下降沿条件数方向收敛极慢)。

手算 2×2 矩阵的 SVD: 求 $A^TA$ 的特征值/特征向量得到 $\sigma_i$ 与 $V$, 再由 $u_i = Av_i/\sigma_i$ 求 $U$, 验证 $A = U\Sigma V^T$?

推导 $\sigma_i^2 = \lambda_i(A^TA)$; 为什么 SVD 对任意矩阵存在而 EVD 只对可对角化方阵适用?

几何: 为什么单位圆在 $A$ 作用下变成椭圆, 半轴长为 $\sigma_i$? 旋转+缩放如何对应 $V^T$、$\Sigma$、$U$ 三步?

条件数 $\kappa = \sigma_1/\sigma_n$ 如何影响数值稳定性? 病态矩阵 (如希尔伯特矩阵) 解误差被放大多少?

对称矩阵的 SVD 与 EVD 有何关系? 如何用 SVD 直接读出四个基本子空间的基 ($V$ 前 $r$ 列 = 行空间等)?