返回 数理基础 思维导图
中文·English
📐 数理基础ID: svd-evd

SVD 与特征值分解

SVD & Eigen-Decomposition
🎯核心定义
对任意 ARm×nA \in \mathbb{R}^{m \times n}, 奇异值分解 A=UΣVTA = U\Sigma V^T, 其中 URm×mU \in \mathbb{R}^{m \times m}VRn×nV \in \mathbb{R}^{n \times n} 均为正交矩阵, Σ\Sigma 是对角矩阵, 对角线为奇异值 σ1σ2σmin(m,n)0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_{\min(m,n)} \ge 0 (可含 0)。几何意义: 映射可分解为"旋转 + 缩放 + 旋转"——VTV^T 先把输入旋转到标准坐标轴方向, Σ\Sigma 沿各轴按 σi\sigma_i 缩放, UU 再旋转到输出空间;因此单位球经 AA 变成超椭圆, 半轴长就是奇异值 σi\sigma_i, 长轴 u1u_1 对应拉伸最大的方向。奇异值满足 σi2=λi(ATA)\sigma_i^2 = \lambda_i(A^TA), ATAA^TA 的特征向量构成 VV, AATAA^T 的特征向量构成 UU。EVD: 对称矩阵 A=QΛQTA = Q\Lambda Q^T (QQ 正交), 特征值全为实数, 奇异值 =λi= |\lambda_i|。条件数 κ=σ1/σn\kappa = \sigma_1 / \sigma_n 度量数值稳定性: κ\kappa 越大矩阵越病态, 解的相对误差可被放大 κ\kappa 倍。
💡使用场景
判断矩阵是否病态 (方程求解、梯度下降收敛速度); PCA 与降维的数值实现; 低秩近似/矩阵压缩; 伪逆 A+=VΣ+UTA^+ = V\Sigma^+U^T; 图像去噪、白化 (whitening)、推荐系统矩阵分解。
解决的核心痛点
EVD 只对可对角化的方阵有意义, 且非对称矩阵的特征值可能为复数、数值上不稳定; SVD 对任意矩阵 (长方形、秩亏) 都存在且奇异值唯一, 是数值线性代数中最稳健的分解。条件数 κ=σ1/σn\kappa = \sigma_1/\sigma_n 直接回答"输入误差被放大多少倍", 是判断方程组可靠性与优化收敛快慢的标尺 (梯度下降沿条件数方向收敛极慢)。
🎯5 个高频面试考点 (Exam Points)
1
手算 2×2 矩阵的 SVD: 求 ATAA^TA 的特征值/特征向量得到 σi\sigma_iVV, 再由 ui=Avi/σiu_i = Av_i/\sigma_iUU, 验证 A=UΣVTA = U\Sigma V^T?
2
推导 σi2=λi(ATA)\sigma_i^2 = \lambda_i(A^TA); 为什么 SVD 对任意矩阵存在而 EVD 只对可对角化方阵适用?
3
几何: 为什么单位圆在 AA 作用下变成椭圆, 半轴长为 σi\sigma_i? 旋转+缩放如何对应 VTV^TΣ\SigmaUU 三步?
4
条件数 κ=σ1/σn\kappa = \sigma_1/\sigma_n 如何影响数值稳定性? 病态矩阵 (如希尔伯特矩阵) 解误差被放大多少?
5
对称矩阵的 SVD 与 EVD 有何关系? 如何用 SVD 直接读出四个基本子空间的基 (VVrr 列 = 行空间等)?
📖 关联深度指南:📄 linear-algebra-for-ai
更新于 2026-08-12
🎯
检验攻克程度:针对「SVD 与特征值分解」专属刷题排雷
做单选排雷题、推导选项机制,答错自动收录进专属错题本。
🚀 开始本考点专项刷题
上一个知识点向量空间与四大子空间下一个知识点投影与最小二乘

🔗 更多 数理基础 知识点卡片

Adam/AdamW 偏差修正推导贝叶斯推断偏差方差分解Bootstrap