TalentMe
How To
🗺️
AI Industry Map
NEW
Knowledge ▾
Intro & Usage
Machine Learning Repo
Data Science Repo
Resources ▾
Intro & Usage
AI Tech Vault (Tech Wiki)
Industry News
Tech Blogs
Research Papers
Open Source Projects
Tools Hub ▾
🛠️ Tools & Skills Overview
🌐 Interactive Web Tools
🗺️ AI Industry & Career Map
🧭 AI Career Transition Navigator & Roadmap
📚 AI Multi-Module Practice Hub
🎯 AI Skill Assessment
🧠 AI Skills Library
AI Skills & Prompts Overview
Local Agent Guide
Cloud Skills Templates
⚡ MCP Tools Suite
TalentMe MCP Guide
CLI Tools & Commands
Services ▾
🚀 Services & Plans Suite
🧭 1v1 Coaching & Services
💎 Plans & Pricing
💬 Contact & Consultation
Contact Us
💬 Discord
🌐
中
☀️
🔑
Login / Register
☰
技术知识库
›
复习路线图
›
数理基础 思维导图
›
SVD 与特征值分解
← 返回 数理基础 思维导图
中文
·
English
📐 数理基础
ID:
svd-evd
SVD 与特征值分解
SVD & Eigen-Decomposition
🎯
核心定义
对任意
A
∈
R
m
×
n
A \in \mathbb{R}^{m \times n}
A
∈
R
m
×
n
, 奇异值分解
A
=
U
Σ
V
T
A = U\Sigma V^T
A
=
U
Σ
V
T
, 其中
U
∈
R
m
×
m
U \in \mathbb{R}^{m \times m}
U
∈
R
m
×
m
、
V
∈
R
n
×
n
V \in \mathbb{R}^{n \times n}
V
∈
R
n
×
n
均为正交矩阵,
Σ
\Sigma
Σ
是对角矩阵, 对角线为奇异值
σ
1
≥
σ
2
≥
⋯
≥
σ
min
(
m
,
n
)
≥
0
\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_{\min(m,n)} \ge 0
σ
1
≥
σ
2
≥
⋯
≥
σ
m
i
n
(
m
,
n
)
≥
0
(可含 0)。几何意义: 映射可分解为"旋转 + 缩放 + 旋转"——
V
T
V^T
V
T
先把输入旋转到标准坐标轴方向,
Σ
\Sigma
Σ
沿各轴按
σ
i
\sigma_i
σ
i
缩放,
U
U
U
再旋转到输出空间;因此单位球经
A
A
A
变成超椭圆, 半轴长就是奇异值
σ
i
\sigma_i
σ
i
, 长轴
u
1
u_1
u
1
对应拉伸最大的方向。奇异值满足
σ
i
2
=
λ
i
(
A
T
A
)
\sigma_i^2 = \lambda_i(A^TA)
σ
i
2
=
λ
i
(
A
T
A
)
,
A
T
A
A^TA
A
T
A
的特征向量构成
V
V
V
,
A
A
T
AA^T
A
A
T
的特征向量构成
U
U
U
。EVD: 对称矩阵
A
=
Q
Λ
Q
T
A = Q\Lambda Q^T
A
=
Q
Λ
Q
T
(
Q
Q
Q
正交), 特征值全为实数, 奇异值
=
∣
λ
i
∣
= |\lambda_i|
=
∣
λ
i
∣
。条件数
κ
=
σ
1
/
σ
n
\kappa = \sigma_1 / \sigma_n
κ
=
σ
1
/
σ
n
度量数值稳定性:
κ
\kappa
κ
越大矩阵越病态, 解的相对误差可被放大
κ
\kappa
κ
倍。
💡
使用场景
判断矩阵是否病态 (方程求解、梯度下降收敛速度); PCA 与降维的数值实现; 低秩近似/矩阵压缩; 伪逆
A
+
=
V
Σ
+
U
T
A^+ = V\Sigma^+U^T
A
+
=
V
Σ
+
U
T
; 图像去噪、白化 (whitening)、推荐系统矩阵分解。
⚡
解决的核心痛点
EVD 只对可对角化的方阵有意义, 且非对称矩阵的特征值可能为复数、数值上不稳定; SVD 对任意矩阵 (长方形、秩亏) 都存在且奇异值唯一, 是数值线性代数中最稳健的分解。条件数
κ
=
σ
1
/
σ
n
\kappa = \sigma_1/\sigma_n
κ
=
σ
1
/
σ
n
直接回答"输入误差被放大多少倍", 是判断方程组可靠性与优化收敛快慢的标尺 (梯度下降沿条件数方向收敛极慢)。
🎯
5 个高频面试考点 (Exam Points)
1
手算 2×2 矩阵的 SVD: 求
A
T
A
A^TA
A
T
A
的特征值/特征向量得到
σ
i
\sigma_i
σ
i
与
V
V
V
, 再由
u
i
=
A
v
i
/
σ
i
u_i = Av_i/\sigma_i
u
i
=
A
v
i
/
σ
i
求
U
U
U
, 验证
A
=
U
Σ
V
T
A = U\Sigma V^T
A
=
U
Σ
V
T
?
2
推导
σ
i
2
=
λ
i
(
A
T
A
)
\sigma_i^2 = \lambda_i(A^TA)
σ
i
2
=
λ
i
(
A
T
A
)
; 为什么 SVD 对任意矩阵存在而 EVD 只对可对角化方阵适用?
3
几何: 为什么单位圆在
A
A
A
作用下变成椭圆, 半轴长为
σ
i
\sigma_i
σ
i
? 旋转+缩放如何对应
V
T
V^T
V
T
、
Σ
\Sigma
Σ
、
U
U
U
三步?
4
条件数
κ
=
σ
1
/
σ
n
\kappa = \sigma_1/\sigma_n
κ
=
σ
1
/
σ
n
如何影响数值稳定性? 病态矩阵 (如希尔伯特矩阵) 解误差被放大多少?
5
对称矩阵的 SVD 与 EVD 有何关系? 如何用 SVD 直接读出四个基本子空间的基 (
V
V
V
前
r
r
r
列 = 行空间等)?
📖 关联深度指南:
📄 linear-algebra-for-ai →
更新于 2026-08-12
🎯
检验攻克程度:针对「SVD 与特征值分解」专属刷题排雷
做单选排雷题、推导选项机制,答错自动收录进专属错题本。
🚀 开始本考点专项刷题 ➔
← 上一个知识点
向量空间与四大子空间
下一个知识点 →
投影与最小二乘
🔗 更多 数理基础 知识点卡片
Adam/AdamW 偏差修正推导
贝叶斯推断
偏差方差分解
Bootstrap